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§1. 0-1 律 


两个或多个试验的独立性的概念，一定意义上在概率中占中心位置……历史 
上试验和随机变量的独立性，曾经是賦予概率论以印迹一种数学 概念. 

A . H . 柯尔莫戈洛夫，《概率论的基本槪念》[32】 


§1. 0-1 律 

1. 柯尔莫戈洛夫 0-1 律熟知，下面两个 级数： 

CX> 1 oc ^ 

u 和 n -'， 

n=l n=l 

其中前一个级数发散，后一个级数收敛.现在，提出如下问题：对于独立同分布伯努 
利随机变量序列关于级数 

其中 p{g = +1} = p { Ci == -1} = ^， 

n=l 71 Z 

的收敛性有何说法？换句话说，假如级数的一般项为士 1/ n ， 其中符号“+”和“-” 
与上述序列0,6，...相对应，并按随机顺序“散布”，那么是否可以说“以 G / n 为 
一 般项的级数收敛”？ 

^={-£宇收敛} 

是使其中的级数收敛（于某些数值）的基本事件的集合，并且在事先并不知道该 
集合的概率 P (^) 取何值的情况下，讨论概率 P (> ll ). 

不过，非常精彩的是，事先就可以 断定： 这一概率只可能取0或1两个值之一. 
这一结果是称做 柯尔莫戈洛夫 （ A . H . KoJiMoropoB ) 0 1律 的推论 . 0-1 律的提法和 

证明是这一节的基本内容. 

2. 柯尔莫戈洛夫 0-1 律的证明设 （ a ^， p ) 是概率空间，…是一随机 

变量序列.以多7=(7(&,^ +1 ，...）表示由随机变量&，心 +1 ,...生成的卜代数, 
并且设 

戈= nc . 
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由于 a - 代数的交仍然是 a - 代数，可见 f 是 a - 代数.因为对于任意有限数 n ， 
任何事件都不依赖于6，.._， 心， 而仅由“序列•…的无穷远的性质” 
所决定，故我们把 a - 代数 I 称做“尾部的”或“剩余的”. 


由于对于任何 fc ^ l ， 有 


乂 1 


E 


Cn 


收敛 


E 




收敛丨€ r ， 


则 = n ^ r =^-同样，假如& 6,…是任一随机变量序列，则 


^2 


收敛 ef . 


下列事件也是“尾部的”: 


-43 = { 对于无限个 G /„} 


€ 二}) 


其中 / n €^( R ), n ^ 1; 


A\ = jlimC 


力 5 


^ + …+^ 

n n 


A 6 = {^ l ^-^< 
I n n 




Sn 


火 8 


lim 


收敛 

_Sn_ 

2 n In 


其中 = & +••■ + &. 另一方面 




衫 1 ={对于一切 n ^ l,^n = 0}, 

=^ lim(^i + . • • + € n ) 存在且小于 


都是不属于的 f 事件的例. 

现在假设所考虑的随机变量是独立的.在此条件下，由博雷尔-坎泰利引理，可 
见 


P { A 3 ) = 0 G <00, 

P(As) = 1 公 y^P{Cn 6 / n } = OO. 


这样，以级数 EP ^ n €/ n } 是否收敛为转移，事件八3的概率只有0或1两个可能 
值.这一命题称做 博雷尔 “0-1” 律， 它是如下命题的特殊 情形- 
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定理1 (柯尔莫戈洛夫 “0-1” 律）设6,6，...是独立随机变量序列，而 Ae 
S '. 那么，概率 P ( A ) 只有0和1两个可能值 • 

证明证明的思路 如下： 为证明每一“尾部”事件4与它自己独立，只需证明 
P ( Af ] A ) = P ( A ) x P ⑷， P ( A } = P 2 ( A ), 故 P ( A ) = 0 或 1. 

若 乂 € 义，则火 € = J(U 多7)，其中少7 =…， Cn )， 

并且存在集合 \ (第二章§ 3 ,练习题8)，使 P ( AAA n ) — 0 ，n — oo •由 
此可见， 

P ( 人卜 P ㈤ ， P(A n r\A) - P ⑷. ⑴ 

但是，假如则对于每一个 n > 1,事件和 A 独立： 


P ( AC ] A n ) = P ⑷ P (乂 n ). 


由于 （ 1 )， 由此可见 P(A) = P 2 (A), P(A) = 0 或 1. □ 

系设 r / 是关于“尾部” a -代數 f 可测的随机变量，即 {r] e B} e U € 
j (] R )， 则 7; 是退化随机变量，即存在常数 c , 使 P { r ; = c } - 1. 

3. 柯尔莫戈洛夫01律的应用下面引进的定理2是柯尔莫戈洛夫“心〗律” 
的非平凡应用. 

设6,6,…是独立伯努利随机变量序列： P{Cn = 1} = p , P {& = - 1} = Q.P + 
(7 = l ， n 彡1,而义=& +…+ 《 n . 直观上明显，对于对称 （P = 1/2) 的情形，随机游 
动 S n (n > 1) 的 “ 典型”轨道无限多次地经过0,而对于 y ) 參1/2的情形“趋向”无 
穷.下面是这一结果的确切表述. 

定理2 a ) 如果 p = l / 2 , 则 P { 对于无限多个 n，A = 0} = l . 
b ) 如果 p / 1/2,則 P { 对于无限多个 =0} = 0. 

证明首先注意到 ， B = { 对于无限多个 n ,5 n =0} 不是“尾部”事件，即 B 交 
S' = f]^n^n = 因此，原则上不能说明事件 S 的概率只有0 

或1两个可能值. 

利用博雷尔-坎泰利 （ E. Borel - F. P. Cantelli) 引理（的第一部分)，容易证明 
命题 b ). 事实上，如果 B 2n = {S 2n = 0}, 则可见斯特林 （ J . Stirling ) 公式(第一章§2 
第4小节)，有 

P ( B 2 „) = c 2 ' P v *~^ f ， 

从而 Y1 p (^ 2n ) < oo - 因此， P { 对于无限多个 n，s n = 0 } = 0 . 

由于 Z e B , 为证明命题 a ), 只需证明事件 



的概率等于 1. 
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设次 = ^ n <， 其中 



那么，当 C — 0 C 时人丄々这时4以及所有冯，< 都是尾部事件.现在验证，对 
于每一个 c ， p «) = p ( w ) = 1. 由于 4 e K ^ ^ 故只需证明 P (^) > 
0， P(O > 0. 然而，根据练习题5和棣莫弗-拉普拉斯定理 （ A . DeMoivre - P . S . 

Laplace , 第一章 §6)，有 



彡 limP 

n 


f S n 

\ 7 ^ 


^ c 


> 0 . 


于是 • 对于一切 c > 0, P (4 C ) = 1, 因而 P (^) = lim P ( A C ) = l . □ 

c—•oc 

4. 休伊特和塞维治 0-1 律 我们再次强调，事件 B = { 对于无限多个 n ， S n = 
0} 不是 “ 尾部”事件.不过，由定理 2 可见，对于伯努利 概型， 这一事件的概率同“尾 
部” 事件的概率一 •样， 只有0或1两个可能值.原来，这种情况并不偶然，它是所谓 
休伊特 （ E . Hewitt ) 和塞维治 （ I . R . Sevage ) 0-1 律的推论. 对于独立 同分布 随机变 
量，休伊特和塞维治 0-1 律，将定理1的结果推广到所谓“可交换”事件类（包括“尾 
部”事件类). 

现在给出必要的定义.集合 （1,2，".） 到自身的单值影射 （ T ^ TTf .) 称 做有限 
可交 换的， 如果对于一切 （只 可能有有限个除外） n ,7 r n = n . 

如果《= (6,6,. ••) 是随机变 fl 序列，则以40表示是随机变量 
序列. 

如果事件 a = {^ e B},B e 义(狀°°)， 则以 tt ( A ) 表示事件 { tt (0 g B},B e 

称事件 A = B} y B e ^( R °°) 为可交换的， 如果对于任意有限排列 A 事件 
ttM ) 与4重合. 

事件 A = {对于无限多个 n ， S n = 0}， 其中& =心+ • • •+&，是可交换事件的例 • 
此外可以证明（练习题4)，属于“尾 部”卜 代数 f ⑻= f ]^ n ( S ) 的每一个事件是 
可交换的，其中 ^ n ( S ) =<7{^：5 n ? 5 n + l ,**-} 是随机变董 Si = 6, $2 =6 +&，••• 
生成的 a _ 代数. 

定理3 (休伊特和塞维治 0-1 律）设《= (心， 是独立同分布随机变量 
序列，而4 = {《 e 丑}是可交换事件，則 PM ) = 0或 1. 

证明 设4 = {《 e B } 是可交换事件.选择一集合认 》 €郭 V , 使(见第二章 
§3练习题 8) 

P ( AAA n ) — 0， n — 00 ， 


其中 An = { u ； :(《1，…， 《 n ) 已 ^ n }- 


( 2 ) 


由于随机变量《1，&,…独立且同分布，可见概率分布 P ^( B ) = P {^ € B } 和 
~ € B }， 其中 7 T n (《） = (€ n + i ， …，心 n ，《 l ， … i ，《2 n + l ， 《2 n +2, … ）， 

对于任何 n ^ l 相同.因此， 

P(^A^ n ) = P^(BA13 n ) = P^iBABn). (3) 

因为 4 R e 月}是可交换事件，故 

A = B } = n n ( A ) = {7 r n (0 G B }. 

从而 

P nn {0 ( BAB n ) = P ({7 r n (0 e B } A { n n (0 e B n }) 

= P({^6 B}A{7r n (^) 6 B n }) = P ( AA 7 r n ( A n )). (4) 

这样，由式 （3) 和 （4), 有 

P ( AAA n ) = P (^ A 7 r n (^ n )). ⑼ 

因为 （2) 式，由此可见 

P(AA{^4„n 丌 n (乂 n)}) 〜0， n-^ oo. (6) 

因而由式 （2)， （5) 和 （6)， 可得当 n — 00 时，有 

P (4) — P ( A )， P ( n n ( A n )) - P ( A )， 

PMnfKMn)} — P ⑷. 

其次，由于随机变量心々，….的独立性，有 

PMnfVnMn )} = P {(€ l ，• • •，6 i ) € 凡， (《 n +1， … j ^2 n ) ^ ^ n } 

= P {(6,• •.，《 n ) e B n } P {(^ n+1 ,... ^ 2n ) eB n } = P ( A n ) P ( n n ( A n )). 


根据性质 （7)， 由此可见 


P(A) = P 2 ⑷， 


于是 P (4) = 0或 1. □ 

5. 练习题 

1. 证明定理1的系. 

2. 设 (^ n ) n ^ l 是独立随机变量序列，证明和 Ijm ^ n 是退化随机 变量. 

3. 设 (^n)n^l 是独立随机变量序列， Sn = 6 + . . . +《m 而 k 是常数且0 < 心 T 0C. 
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是退化随机变量. 

4 .设乂 =心 + …+ ^，n 彡 1，而， ^(5) = f ) J r < ^( S ),^ < ^( S ) = a{cv : 
5 n ? 5 n +1 ，- •*}, 证明 ^( S ) 中的每一个事件都是可交换的. 

5•设 （ GUv 是独立随机变量序列，证明对于任意常数 G 有 { liS ^ ^ c} D 

{ lim^ n > c }. 

6. 举一概率严格大于 o 且严格小于 1 的《尾部》事件的例. 

7. 设6,心，…是独立随机变量， E 心 =0 ,Eg ：= l，n > 1，且服从中心极限定理 
( P { S n / y/n ^ x } <^( x) ? x G M , 其中 & = 心 + …+心，而少 ( x ) 是标准正态分布函 
数) ，证明 

lim n 1//2 5 n = -foo (P — a.c.). 

n—>cx> 

特别，对于独立同分布随机变量序列（若 E 6 =0 ，Eg = 1)，这一性质仍然成立. 

8. 设《1，6,…独立同分布随机变量序列，且 E | Ci | > 0,证明 


lim 





= +oo 


(P — a.c.). 


§2. 级数的收敛性 

1. 独立随机变量的级数的敛散性准则假设是独立随机变量序列， 

义 = 6 + ••• + 心，而乂是使级数 EU ^) 收敛于有限极限的基本事件^的集合. 
由 柯尔莫戈洛夫 0-1 律知，概率 P ( A ) = 0或1，即级数以概率1收敛或发散. 
这一节的 H 的是，给出确定独立随机变量的级数收敛还是发散的 准则. 

定理 1 (柯尔莫戈洛夫-辛钦） a ) 设 E 心 =0， n 彡 1. 那么 ，如果 

X^ E d <00 ， ⑴ 


則级数 YAn 以概率1收敛. 

b) 并且，如果随机变量 彡 1 ， 一 致有界（对于某个 C< oo ， P{|&| 彡 c} = 1 )， 
則逆命题也成立：若级數 E^n 以概率1收敛，則条件 （1) 成立. 

该定理的证明本质上用到下面的不等式 • 

柯尔莫戈洛夫不等式 a) 设 6 ，《 2，..•，^ 是独立随机 变量，= O,E0 < 
oo,0 彡 i 彡 n. 那么， 对于任意 e 〉 0, 有 


P 


max \Sk\ ^ 






b) 并且，如果 P {|^| < c } = 1 ， 0 彡 i 彡 n ， 则 


P 





> 1 - 


(c + g) 2 
ES 三 




证明 a ) 记 


Ak = {|^| < = 1 ，... ，k — l ,|5 fc | ^ e ), l ^ k ^ n . 

那么， i 4 = E 而 

E 5^ E 5^-^ E 5, 2 /^,. 

因为 

^ S 2 n I Ak = E { S k + (^. + 1 + … + ^ n )} 2 I Ak 

= ESfjA k -f- 2ESic(^k+i + • • • + 61 K/U + E($a：+i + … + 《 n) 2 ^u 彡 E6^7 ^， 

其中由于独立性假设和条件= 0,0 < i < n ， 可见 

^•Ski^k+l + . . • + ^n)^A k ~ ES^//^- X E(€/c+i + • • • + 《 ri) = 0 ， 

所以 

ESI ^ Y , E ^ 2/ ^ ^ £ 2 Y . p (^) = ⑷， 

于是，不等式 （2) 得证. 

为证明不等式 （3), 注意到 

ES ^ I a = E 乾- E 5^/^ ^ ES ^ - e 2 P ( A ) = E 究 — e 2 + e 2 P ( A ). ⑷ 

另一方面，在集合上，有 

|5 fc _ i | ^ e , |5 a ：| ^ \ Sk-il + 1^1 彡 s ' + c ， 


因而 

ESll All - 〜 + [ ； E[ W 5 fc ) 2 j 

k k 

作 + C ) 2 EP ⑹ + ^ P ( A ) 亡 Eg 

k fc=l j=fc+l 

_ ■ 

^P(A) (e + C ) 2 + ^>0 = P ( A )[(^ c ) 2 + E 5^]. (5) 


由式⑷和 （5)， 得 

…、、 E 筇 -g 2 一 (e + c) 2 (s + c) 2 

1 } " (e + c) 2 '+ E 5^2 一 （e + c)2 + E 垮 -e 2 ， E52 

于是，不等式 （3) 得证. 


□ 
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定理 1 的证明 a ) 根据第二章§ 10 定理 4 ,序列 ( 5 n ) n ^, 以概率 1 收敛，当且 
仅当该序列以概率 1 是基本序列.根据第二章§ 10 定理 1 ，序列（乂：^^为基本序列 
(P - a . c .) 的充分必要条件是，对于任意 s > 0 ,有 


P { sup | 5 n+ /e - S n \^e 

k^l 


^ 0 


由 （ 2 ) 式，有 


P S sup | 5 n+ /t - S n \ > 

k ^\ 


lim P i max \S n+ k — S n \ ^ 

l(k(N 

n+*/V oo 

X ： E4 2 E E4 2 


彡 lim 


因此，如果 E 


，则条件 （ 6 ) 成立，于是级数 E6 以概率 1 收敛 


b ) 设级数 YAk 以概率 1 收敛，则由 （ 6 ) 式知，对于充分大的 n ， 有 


P ^ sup | 5 n+fc - S n \ e \ 

k^l ) 


< 


⑹ 


⑺ 


由⑶式，有 



- S n \^£ ^ 




(C + g) 2 

"oc 

E E ^ 2 

k=n 


从而，如果满足 £ Eg = oo , 则 

k=l 


P ( sup | 5 n +fc - S n \ > 
U>1 




而这与 （ 7 ) 式矛盾. 口 

例如果 6 ，《 2 ,…是独立同分布伯努利随机变量序列， P{^n - + 1 } = 
PUn = - 1 } = 1 / 2 ,则绿数 E ^ na n (\ a n \^ c ) 以概率 1 收敛，当且仅当 E A < oo . 

2 . “两级数”定理 

定理 2 (柯尔莫戈洛夫-辛钦“两级 数，， 定理）独立随机变量的•的 
级数 E ^ n 以概率 1 收敛的充分条件是，两级数 I ： E 心和同时收敛.并且， 
如果对于某个 c > 0 , P {| 心 I 彡 c } = l ( n 彡 1 )，则此条件也是必要的 • 

证明如果< 00 ,则根据定理 1 ,级数 E (? n - E ^ n ) 以概率 1 收敛.因 
为根据假设级数 EECn 收敛，所以级数也以概率 1 收敛. 

为证明必要性，利用“对称化”方法.与 6 ,( 2 ,…同时，考虑依赖于它的独立随 
机变量序列匕…，其中&与心 (n > 1 ) 同分布.（假如原基本事件空间是充分 



§2. 级数的收敛性 
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“丰富”的，则由第二章§9定理1的系1,可见这样序列的存在性.同时，可以证明 
此假设并不失普遍性). 

那么，如果级数以概率1收敛，则级数 E ^ n 以及级数也以概 
率1收敛.而 E(^ n - i n ) = 0且 P {| en - Cn |^2 c } = l . 所以由定理1的命题 b) 知， 

ED(Cn -? n)<00. 此外， 

# 


- &) < oo. 


因此，根据定理1的命题 a ) ，级数- E ^ n ) 以概率1收敛，说明级数也 
收敛. 

于是，由于级数 EG 以概率1收敛，可见（在假设 P{| 心 | ^ C } = 1(71 ^ 1) T) 
两级数 EE 心和 E D^n 也同时收敛. 口 


3. “三级数”定理 

下面的定理，在没有关于随机变量有界的假设条件下，给出了级数 E “以概率 
1收敛的充分和必要条件. 


对于某个常数 C， 设 



若 Id < C， 
若 Id > 


定理 3 (柯尔莫戈洛夫“三级数”定理） 设 ^1,^2, ••-是独立随机变量序列. 
级数 ECn 以概率1收敛的必要条件是，对于任意 c > 0,三级数 


E d g ， 

收敛，并且三级数对于某个 c >0 收敛，是级數 EG 以概率1收敛的充分条件. 

证明 ⑴ 充分性. 根据“两级数”定理，级数 EG 以概率1收敛. 而 如果对 
于某个 C > 0，EP{l^n| ^ C} < 00,则根据博雷尔-坎泰利引理，以概率1级数 
E H\U ^ c} < oo, 说明对于一切 n (只可能有有限个可能除外)，有& = 因此， 
级数也以概率1收敛. 

(2) 必 要性. 如果级数以概率1收敛，则以概率1有 — 0,故对于任意 
O 0, 以概率1最多有有限个事件 {|^ n| ^ C } 出现.因此，以概率1有 E^ICnl ^ 
C} < 00,且根据第二博雷尔-坎泰利引理 EPdCnl > C} < 00. 此外，由级数 
收敛，可见级数 EC 收敛.于是，根据“两级数”定理，两个级数 Eeg 和 EDC 
都收敛. 口 

系设…是独立随机变量，且 E 匕 = 0. 那么，如果 


则级数5：心以概率1收敛. 
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为证明此结果，我们注意到， 

E < 00<=> L E ^n/(l^n| < 1) + |^|/( len | > 1)] < 

因此.如果 U 彡1)，贝 1 J 

X>(C) 2 <oo. 

由于 E 《 n =0, 可见 

E l E ^l = E E| 《 n/(l《nK 1)1 = E |E^/(|《 n | > 1)| 

彡 > l) < oo. 

说明级数 I ： Ed 和都收敛.此外，根据切比雪夫不等式，有 


P {\ Cn \ > 1} = P { Kn |/(| 心 | > 1)| > 1} < E | 匕亂| > 1). 

因此， EP ( I^I >1}<0 C . 于是，由“三级数”定理，可见级数 YAn 以概率1收敛 • 

4. 练习题 

1.设是独立随机变量序列，& =6 +...+ Cn •利用“三级数”定理, 
证明： 

a ) 如果级数 ECn 以概率1收敛，则级数 E ^ n 以概率1收敛，当且仅当级数 
5：砍„/(|匕|<1)收敛. 

b ) 如果级数以概率1收敛，则级数也以概率1收敛，当且仅当 


^[E|^ n |/(|^|^l)] 2 <oo. 

2.设匕…是独立随机变量序列，证明级数 E 6 以概率1收敛，当且仅当 


y^E 


_ A _ 

i + a 


oo . 


3. 设是独立随机变量序列，证明如下三个条件 等价： 

a ) 级数以概率1 收敛； 

b ) 级数依概率收敛； 

c ) 级数 E 心依分布收敛 • 

4. 举例说明，在定理1和定理 2 中，一般不能去掉一致有界性条件：对于某个 


c >0, P {|^|^ c } = l ( n ^ l ). 

5.设6，《2，*..是独立同分布随机变量，且 


0, E ^ j 2 < 00, 5 n =《1 + • • • + 《 n . 


证明如下柯尔莫戈洛夫不等式⑺的单侧类似（马尔沙尔 [ A . B . MapmajiJi ]): 


max 5 a ： ^ ^ 


s 2 + ES ^ 




6 •设匕…是（任意）随机变量序列.证明，如果 I ： El^nl < 00 , 则级数 

n^l 

E ^以概率1绝对收敛. 

n^l 

7.设是独立对称分布随机变量.证明 





8. 设 Ci ， C 2, ••- 是具有有限二阶矩的、独立随机变量.证明，当且仅当级数 
EE 心和 EDCn 收敛时，级数在中收敛. 

9. 设…是独立随机变量，级数 YAn 几乎必然（处处）收敛.证明，该级 
数的值几乎必然与项的求和顺序无关，当且仅当 EiEoe n ; i&i < 1)1 < oo . 

10. 设6/2,…是独立随机变量，且 E & =0 (71 > 1), 而 


E 赠 .1 < 1) + Kn|/(Kn|>l)]<00. 
n — \ 


证明级数£ 心 (P - a.c.) 收敛. 

n=l 

oc 

11 ■设 山， .4 2 , …是独立事件， 满足： P(A„) > 0(n > 1)， E P(A n ) = oo. 证明当 

n=l 

n — oo 时，有 

n / n 

E 7 (4)/E p (a>) — i ( p 一 a.c.). 
j—l / j—l 

12. 设…是独立随机变量，其数学期望为 E& 和方差 4 满足： lim E^ n = 

n 

c ， 和 Z c^ 2 = oo. 证明当 n — oc 时，有 

n=l 



§3. 强大数定律 

1. 坎泰利强大数定律设是具有有限二阶矩的独立随机变量序列, 
5 n =^+... + ^ n . 根据第三章§3练习题2,如果方差 D & —致有界，则大数定律成 
立： 

- E5 n p ^ … 

-^ 0 ， n oo. (1) 

n 

强大数定律如果将 （1) 式中的“依概率收敛”换成“以概率1收敛”，则相应 
的论断称做强大数定律. 

下面的定理，是强大数定律最早的结果之一. 
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定理1 (坎泰利）设6,《 2 ,…是具有有限4阶矩的独立随机变量，且对于某 


个常数有 


E|^ n -E ^| 4 n^l. 


那么，当 n — ocfl +， 有 


S n — 


(P — a . c .) 


( 2 ) 


证明不失普遍性，可以认为= 0 ，n > 1. 根据第二章§10定理1的系，为 
使 S n /n —> 0 (P - a . c .), 只需对于任何 e > 0,有 




< OC . 


同样地，由切比雪夫不等式，为满足上述不等式只需满足条件 

e — < oc. 

n 

现在证明，在定理的条件下该不等式确实成立. 


易见、 


(6 +•••+&) 


+ E 晶 ㈣ + 

*=1 u 

i<j i^fe 

J<k 


E 

i<j<k<l 


4! 的 3j]l^ 3 ^ 




由于 E 心 =0， A : < n , 故由此可见 


Eg = ^ E # + 6 亡 Ee t 2 E ^ 2 < nC + 6 f 抑％ 


• • 

13 


• ■ 


^ nC + 6n ^ 7 - ~ 2) -C = (3 n 2 - 2 n)C < 3 n 2 C . 


从而 


[ E (令） 彡 3C E 


n 2 


< oc - 


2. 强大数定律的柯尔莫戈洛夫准则若引进更加精细的方法，则可以本质上减 
弱定理1关于强大数定律成立的条件. 

定理 2( 柯尔莫戈洛夫）①设是具有有限二阶矩的独立随机变量序 
列，而 b n 是满足如下条件的正数： 6 n T 且 


D^ n 


~bf 


< oo . 


⑶ 


①该定理亦称做强大数定律的柯尔莫戈洛夫准则 • 


译者 
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那么， 


特别，如果 


S n — ES n 


bn 


0， (P — a . c .). 


⑷ 




THn 

n 2 


< oo , 


⑸ 


~ E 5 n 


— > 


n 


0， （P - a . c .). 


⑹ 


定理 2 和下面定理 3 的证明，要用到两个辅助命题. n 

引理1 (特普利茨 [ O . Toeplitzj ) 设 [ a n ) n ^ x 是非负數列，心= 

i— 1 

〜 > 0,且了 oc，n — ex ; 设 ( x n ) n ^i 是收敛于某一实數: r 的数列•那么， 


n 


—^ QjXj —► .T, n — > 00. 


⑺ 


特别，如果 a n = 1，则 


Xi H - h x n 


n 


X , n —► oo . 


⑻ 


证明设 e > 0 和 n 0 = n 0 (e) 满足：对于 n 彡 n 0 , ^ s/2. 选择 m > n 0 , 


使 


no 


^ni i 




< 


£ 

2 


因此，对于 n > 化，有 


n 





X 


n 


彡 yZ aj — ^ 


3 


n (> 


n 


b n 


一 叫 + iT 


V 

3 


no 


♦广 X| + G 




〜 a •- x i 

: n(>+l 
n 

<^ j\ x j - x \ 

= Tlo+l 


^ e t eb n - b n{) ^ ^ 


□ 


引理 2 (克罗内克 [ L . Kronecker ]) 设 （6 n ) n v 是正实数的递增数列，并且 

b n T 00 ，ri — ♦ DO; 而 ( x n ) n ^ i 是使级数 Yl x n 收敛的某一实数列，那么， 


n 


巧 ㈣ 


0 ， n — oo. 


特别，如果 6 n = n ， x n = y n /n 、 而级數收敛，则 


扒 + • • • + yn 


n 


0， n — oo . 


⑼ 
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证明设 bo = 0 ， s 0 = o ， s n = 那么（“分部求和”)，有 

J =1 


—^ 爾罗 W ^ 

bjXj = bj(Sj — 5j_j) — b n S n _ boS 0 — Sj 一 ' (bj — bj_i )， 


设 ~ — 6,-1， 得 




S n - Sj^iaj —> 0 , 


因为若 S n — : r , 则根据特普利茨引理，有 


bn ^ 


■ 

Sj -内 


—► X. 


n 


3 


定理 2 的证明 


因为 

S n — ES n 
b~n ~~ _ 




则根据克罗内克引理，为使⑷式成立，只需级数 - EW / k 以概率1收敛.实 
际上，由于条件 （3) 和§2的定理1知，该级数确实收敛. 

例1设，…是独立伯努利随机变量序列，且 P {^ = l}=PUn = - l } = 
1/2. 那么，由 


E 


< 00 , 


可见 


s n 

y/n In n 



(P - a . c .). 


( 10 ) 



3. 独立同分布随机变量的强大数定律 对于随机变量6,不但独立，而 
且也同分布的情形，为使强大数定律成立，没有必要像定理2那样要求二阶矩存在, 
只需要求一阶绝对矩存在. 

定理 3 (柯尔莫戈洛夫） 设6/2,…是独立同分布随机变量，且 EI 6 I < oo . 
那么， 

—— > m (P - a . c .)， (11) 

n 

其中 m = E ^ i ,5 n = + • • • + 《 n . 

定理的证明用到下面的引理. 

引理3 设 《是非 负随机变量，那么， 

oo oo 

E p {0 n } 彡 E ? $ 1 + E P {0 n }. (12) 



引理的证明. 下面的一系列不等式即可证明引理3: 


E p K 彡 n} = E P{fc 彡 < < fc + 1} = [ kP{k 彡 C < A: + 1} 

n=l n=l k^n k=l 

oc oc 

=E[W{fc < k-^l}]^Yl E l^{^ 彡 € < a ： + 1}] = E 《 


fc =0 


fc = 0 


$ Ei(fc + l ) I{k ^?</e + l}]- + l)P{fc 彡 《 < fc + 1} 


fc = 0 


fc =0 


E P{C 彡 n} + E P{A: < 《 < A: + 1} = E P{0 n} + 1. 


k =0 


定理 3 的证明 由引理 3 和博 雷尔-坎泰利引理（第二章 §10), 可见 

E|^i| < oo o y^P{|6l ^ n ) <oo ^ y^P{l^n| ^ n } <oc 


因此，以概率 
记 


fP 丨对于无限个 lCn| > 打} = 0. 

对于一切 n (仅有限个 n 有可能除外)，有|€„1 < n 




€ n ，< n | 〈 ’’ I ， 

0， ICnl ^ n, 


且对于 n > 1，认为 E 心 = 0. 那么， 


-- ^ - — 0， 7i — oc(P — a.c.) ^ - -- — 0， n — oo(P — a.c.). 

n n 

注意，一般 E &#0, 但是 

Ei n = E? n /{|^| <n} = E6/{|6l < n} — E6 = 0. 


因此，由特普利茨引理，有 


W W 


DO , 


因而 


^1 H - ^ Cn 


oo(P — a.c.) 




(^1 - ECi) + ••• + (《《— E^ n ) 


0， n —► oo(P — a.c.). 


(13) 


记 = & - E&. 根据克罗内科引理，为证明 （13) 式成立，只需证明级数 
Y , ljn 以概率1收敛.而且由§2定理1，为此只需证明假设的条件 E 心 | < oo 可 
以保障级数 EDCn/n 2 收敛. 
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下面一系列不等式恰好证明这确实 成立: 


E 


— 


注 


= E ^E[^/(|^| < n)] 2 

n=l n=l 

=E * 邮聰 I < n )] = £^E E _ fc - wig < fc )i 

n = l n=l fc=l 

cx> oo 1 n 1 

= [ 价 (fc-i<lCil<fc)]E^2 ^ 2 E^ e Ki 7 ^- 1 ^I^I< /c )] 

k= 1 n=k k=\ 

oc 

$2^E[|^|/(/c-l ^ |^|<fc)]=2E|6l<oo. □ 

k=l 

在如下的意义上，定理的逆命题也成立：设6,6，...是独立同分布随机 


变量序列，且以概率1满足 


+ … + 


C、 


其中 C 是某一（有限） 常数. 那么， EI 6 I < 00且 C = E 6. 


事实上，如果 S n jn — C(P - a . c .)， 则 

in S n ( n ” 1 、 S n —i 


0 (P - ax .)， 


从而， P { 对于无限个 n，Knl > n } = 0. 根据博雷尔-坎泰利引理（第二章 §10), 且由 
引理3知 E | h |< oo , 有 

OO 

[P{| 《 i| > n} < oo. 

n=l 

那么，由己经证明的定理，可见 C = E 6. 

于是，对于独立同分布随机变量，条件 E |^| < w 是（以概率 1) 收敛于有限极 

限 S n /n 的充分和必要 条件. 

注2如果数学期望 m = E 6 存在，但是未必有限，则定理的断定 （9) 仍然成 

立. 

事实上，例如，设 E 《「 < oo , E ^ x + = oo . 对 （7 > 0,设 

Sn = < C ). 


那么，以概率1，有 


lim — 彡 lim — = ^ C) 

xx Tl n TX 


由于当 C — oo 时，有 


E 《 i/(Ci 彡 C) — = oo, 


可见 S n /n —► + oc(P - a . c .). 


§3. 强大数定律 
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注3 定理3断定， S n jn — m(P - a . c .). 需要指出，这里除以概率1收敛之外, 
平均收敛也成立： 


S n 

n 


Am ， 


即 E 


—— m — > 0, 

n 


n —> oo. 


关于这一点，由第五章 §3 的遍历性定理3的可以得到.不过，对于现在的独立同分 
布随机变量6,匕… (& = 6 + • •. +心）的情形，可以直接证明（练习题 7), 而无须 
借助于遍历性定理. 

4. 应用强大数定律的例现在考虑强大数定律的某些应用. 

例2 (用于数论）设0 = 10，1)，义是的子集的 ( J -代数，而 P 是区间 [0,1) 
上的勒贝格测度.考虑数 uen 的二进制分解 u ； = o . 心0； 2 •.. (含无限多个 0), 定义 
随机变量…，其中 ^ nM =^ n - 对于任意 n 彡1和任意只取0或1为 
值的 A ，…， 有 


{cj : ^i(a；) = XI，… = x n ) 

:罕 + P + … + 宗 <w< 专+登 + ... + 誤+去}， 

则该集合的 P - 测度等于 1/2' 说明6,《2，...是独立同分布随机变量序列，且 

PUi=0} = PUi=l} = ^. 

由此和强大数定律得如下博雷尔的结果 ：区间 [0,1) 的几乎一切数按如下意义都是 
正 规的： 其二进制分解中 “0的比率”和“1的比率”各以概率1趋向1/2,即 • 


- [,(0 c = i ) —刁 （P - a c -)- 

n t { 2 

例3 (应用于 “蒙 特卡罗法”）设/(为是定义在区间10, lj 上、取值于 [0,1] 的 
连续函数.下面的讨论基于积分 Jo f ( x)dx 的数值计算的统计方法（“蒙特卡罗法 ”). 

设仍，…是独立同在10，1丨上均匀分布的随机变童序列；而 



若 f ⑹〉 Vi ， 
若 /(&)<〜, 


显然， 


Epi = P {/(6) > Vi } = 
由强大数定律（定理3)，有 
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这样，积^ Jo 1 /⑻如的数值计算,可以利用随机数偶 （仏 彡 1 ， 模拟，再计 
算内和”― 1 的值来实现. 

例 4 (更 S 过程的强大数定律）设 iV = ( AT t ) ao 是第二章§9第4小节引进的 
更新 过程： 

oo 

N t = ^2l(T n ^t\ T n = q + … + a n ， 

n=l 

其中 q， ^2, ... ，％是独立同分布正值随机变量序列.此外，假设/X = Eq < OO. 

在这样的假设条件下，过程 iV 服从强大数 定律： 

N t 1 

—— ► _ , (P 一 a.c.)， t ~^ oc . (14) 

t fi 


为证明这一结果，首先由于 7V, <」< T Nt ^(t > 0), 可见在假设 N t > 0 的条件下， 
不等式 


T N t 〈丄 < T Nt + l 




(15) 


成立 • 


显然，当 f — oo 时 7V t = N t ( uj ) — oo (P - a.c .). 同时，根据定理3,当 


OO 


时，有 


T n (^) + … + 


—> 


n 


n 


"， (P — a . c .). 


因此，同样，有 


N t ( uj ) 

从而，由 （15) 式，可见存在极限 •. 


/i, (P — a.c.), n —► oo 


l i n i W t 


\i (P — a.c.). 


于是，强大数定律 （14) 得证. 

5. 练习题 

1. 证明 Ef < oo , 当且仅当 

OO 

5Z nP {l^l > n ) < 

n=l 

2 . 假设…是独立同分布随机变最， 证明： 

(a) 若对于某个0 < a < 1，有 E|6| a < oo, 则 S n / n l / a - 0(P - a.c.). 

(b) 若对于某个1 < /3 < 2,有 E |6 P < oo , 贝 IJ 




— 0 


(P — ax .). 
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3. 设是独立同分布随机变量序列，且丑心|=00.证明，对于任意常数 
序列 { a n }， 有 


Ihn 




— oc 


(P — a . c .). 


4. 问区间 [0,1) 上的一切有理数（在第4小节例 2) 是否都是正规的？ 

5. 举一独立随机变量序列6,6,***的例，说明极限 Hm 5 n / n 在依概率的意义 

下存在.但是在以概率1的意义下不存在， " 

6. (埃特麦迪 [ N . Etenmdyj .) 证明，如果将随机变量6, 心，… “独立”换成“两 
两独立”，定理3的结论仍然成立. 

7. 证明.在定理3的条件下，平均收敛 成立： 



8.设匕匕，…是独立同分布随机变量序列，且 EAI 2 < oo . 证明, 





max 


yJTl k^n 


l^fel 0- 


9. 考虑区间 |0, 1) 上数 a ; = 0. a ； ia ；2 - -- 的十进制分解. 

( a ) 将第4小节对于二进制分解的强大数定律，移植到上面二进制分解的情形. 

( b ) 证明，有理数（按博雷尔）不是正规的，即对于有理数的十进制分解(^(^)= 
u k ,k ^ 1), 对于任怠 i = 0,1, …， 9， 


n 






k 


10 



( c ) 证明，数 u ； = 0.12345678910111213 …，其中在小数位上依次写的是一切非 
负整数，是 正规的 （见例 2 ). 

10. ⑷设心，6,…是独立随机变量序列，且 P{^n = ± n «} = 1/2. 证明，这一 
随机变量列服从大数定律，当且仅当 a < 1/2. 

( b ) 设/ = /( x ) 是 (0, oc ) 上的有界连续函数.证明，对于任何 a > 0与一切 
x 〉0,有 

lim f + 

— 台 V nj k\ 

11. 证明，可以陚 予柯尔莫戈洛夫强大数定律 （定理 3) 如下形 式：设 &&，••• 
是独立同分布随机变量，则 

E |^ i | < oc n ~ l S n E^i (P - a . c .), 

恥 I = oo 分 limn ^ l 5 n ― +oo (P — a . c .). 

证明，如果将“独立”换成“两两独立”，则第一个结论仍然成立. 
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12•设匕心，…是独立同分布随机变量序列.证明， 


E sup 

n 




< oo ^ E |^ 1 | ln + 1^ x 1 < oc . 


13 .设 5^ = 6 + … + $„， n 彡1，其中假设••-是独立同分布随机变量序 
列，且 EG =0, E |6| >0. 证明 


lirn ^ 
n yjn 


oo ， lim 


y/n 




-oc (P — ax .). 


14 . 设^ = 6 + ...+& W 彡 1, 其中设…是独立同分布随机变量序列. 
证明.对于任意 a € (0,1/2]，下面的性质之一成立： 

( a ) n ^ Q S n —► oo(P — a . c .); 

( b ) n ^ Q S n —► - oo(P — a . c .); 

( c ) \ hnn ~ a S n — oo , limn _ a 5 n = — oo , (P — a . c .)- 

15 . 设 = 6 + ••• +€ n，n ^ 1,5 0 = 0, 心， &，••• 是独立同分布随机变置 序列. 
证明： 

( a ) 对于任意£： > 0, 


^2 P {|^ n | ^ ne ] < oo E^i = 0, < oo ; 

n=l 


( b ) 如果 E & <0,则对于 p > 1， 


e ( sup Sn) P 

Wo / 


< oo <=> E(^) p < oo ; 


( c ) 如果 E 6 = 0, 1 < p 彡2,则对于某个常数 C p ， 




n= 


max Sk ^ n \ C p E |^ i | p , 

k^n 


oc , 

P < max 

^ [ k^n 
n=l v 


|6\|^ n ^2 C p E |^| p ; 


( d ) 如果 E & = 0, < oo 且 M ( e ) = sup (5 n - ne ),£： > 0,则 

n ^0 


lirr^eM ⑷ 


(7 

飞 


2 


§4. 重对数定律 

1. 辅助函数：上函数和下函数设是独立同分布伯努利随机变量序 

列，其中 P{^ n = 1} = PU „ = -1} = 1/2, 5 n =$+••• + &. 由 §1 定理2的证明， 

可$ — S S 

lim-^ = +oo, lim~~ = -oc. (1) 


§4. 重对数定律 
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另一方面，根据§3的 （10) 式，有 


S n 

y/h\nn 


— 0 


(P — ax .). 



现在比较这两个结果. 

由⑴式可见，轨道 (5 n ) n ^! 以概率1无限多次与“曲线” ±6 y /^ 相交，其中£ 
是任意正数.但是，与此同时由 （2) 式可见，只有有限多次越出有界曲线 ±£ v^lnn 
所围成的区域内部.这两个关于对称随机游动 ( S n ) n ^ 振荡“幅度”特点的结果，提 
供了相当有用的信息.下面引进的重对数定律，本质上更精确地说明了关于随机游动 
( S n ) n ^ 振荡 “ 幅度”的 概念. 

首先引进上函数和下函数的概念. 

定义函数 〆 = ^( n),n ^ 1,(对于 （ S n ) n v ) 称做上函数，如果自某个 n = 
n 0 ( uj ) 开始对干一切 n ， 以概率1有 

函数〜 = w ( n),n 彡1 (对于 （ S n ) n > i ) 称做下函数，如果对无限多个 n ， 以概率 
1 有 S n > v?*(n). 

根据这一■定义，由 （1) 式和 （2) 式可见，每一个函数 f = sy / nlnn ( e >0 ), (对于 

(*? n ) n ^ i ) 是上函数，而函数 A = Sy / n(e >0) 是下函数. 

设 p = < p ( n ) 是某个函数，而 W = (1 + e ) ip ，( p 林 = (1 - e )( p , 其中 e > 0. 那么，易 
见 

Hm -^- ^ ll = 

n < p ( n ) J 

^ {5 m 彡 （1 + e ) v ?( m ) 对一切 e >0 和自某个 ni ( e ) 始的一切 m }. (3) 



lim 


sup 




•m 彡 n 


彡 1 


sup 




rn ^ i .) 咖) 


彡 1 + e ， 对于 一 切 e > 0 和某个 ni ( e ) 


同样，有 


㈣ 》 1 


lim 


sup 


Sm 


m / rMm ) • 


彡 1 




sup 




m 彡 n 2 (e) p(m) 


彡 1 — e ， 对于一切 6 > 0 和某个 7 t 2( e ) 


<=» {Sm > (1 - e )( p ( m ) 对一切£ > 0和自某个 n 3 ⑷彡 n 2 ( e ) 始的无限个 m }. (4) 


由 （3) 式和⑷式可见，为验证每一个函数< = (1 > 0,是上函数，需 


要证明: 



而为证明每一个函数仏 € = (1 - €)^6 >0 是下函数，需要验证: 
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2. 重对数定律 

定理 1 (重 对数定律） 设••-是独立同分布随机变 量序列 ，且= 0, 
E ^ t 2 = a 2 >0. 那么， 

p {輪= 1 } = ^ 

其中 __ 

0(n) = : v2(j 2 n In Inn. 


⑺ 

⑻ 


对于一致有界随机变童，1924年 由辛钦 证明了重对数定律.1929年柯尔莫戈洛 
夫将这一结果，推广到广泛的独立随机变量类.在定理1所表述的条 件下， 1941年 
由哈特曼 （ P. Hartman) 和温特纳 （ A. Wintner) 证明了重对数 定律. 

由于该定理的证明相当复杂，故我们仅限于考虑其特殊情形，即随机变量心服 
从正态分布的 情形： 心〜 iV (0， l )， n 彡 1. 

首先，证明两个引理. 

引理1 设是独立随机变量，且有对称分布：对于每一个事件 B e 
J &( R ) y k 彡 n ， 有 P {^ € B } = € B }. 那么，对于任意实数 a , 有 


P 



Sfc > a 



彡 2 P {5 n > a }. 


⑼ 


证明引进记号： = {$ ^ ^ A : - l ;5 fc > a }, A = 

{ S n > a }. 由 于在小 彡 A } 上，则 


< max 5i > a > ^ = 

\l<Ar<n / 


P ( BC \ A k ) ^ P ( A k C \{ S n ^ S k }) = P ( A k ) P { S n ^ S k } 

= P(Ak)P{^k-\-l + … +《n 彡 0}. 


由于随机变量 6,...，《 n 的概率分布对称，有 

P {“+1 + …+ > 0 } = P { 0 b +1 + • • • + < 0 }. 


因此 Pfe +1 + •. • + 心彡 0} 彡 1/2,从而 


P ⑻&亡 P ( A k f ] B ) >\ Y ^ P ( A k ) = ⑷， 


于是 （9) 式得证.（对照第八章§2第3小节的证明 •） 

引理2 设义〜 iV (0, a 2 ( n ))， a 2 ( n ) T 00,而数 a ( n)，n > 1，满足 a ( n )/ a { n ) 
oc，n — oc . 那么 


□ 


P { S n > a ( n )} 


a ( n ) 


y / 2 na ( n ) 


q 2 j n ) 

2 <y 2 (ri) 


( 10 ) 



证明 由于当 :r -> oo 时 


~^= [ e~^dy - 

\/27r Jx v2nx 


而 S n / a 2 ( n ) -卵， 1)， 立即可得 （1 U ) 式. 

证明定理 1现在证明€〜 A r (0, l ) 的情形.假设心〜 N ( 0 , l ). 

( a ) 首先证明 （5) 式. 设£ > 0 ，A = l -^ e.rik = X k , 其中 / c 彡 fc 0 , 且 选择知 ，使 
In In A : 0 有定义.记 


A k = { S n > Xip ( n) y 对于某个 n € ( n k , n k ^ i }}, 


( 11 ) 


亦设 


{ Akj 对无限多个 A :} = {A > A ^( n ), 对于无限多个 n } 


由于 （ 3) 式，为证明 （ 5) 式，只需证明 P ㈤ = 0. 

为此证明 I ： P ( A k ) < oc . 根据博雷尔-坎泰利引理（第二章 §10 )，有 PM) == 0 
由 （ 11 )， ⑼和 （ 10) 式，有 

P { A k ) < P{5 n > A^(rijt), 对于某个 n € (n fc ,n fc+ i]} 

彡 P { S n > XrJj ( n k )y 对于某个 n 彡 n fc+1 } 彡 2P{5 nfcl l > At/>(n fc )} 


y /2^ 


>Jnk 


- K ^ 2 ) 


< C ie 一 


入 In In 入 


彡 C 2 e 


-Ain it 


c 2 k 


其中 Ci 和 C 2 是常数.由于 E fc_ A < oo , 故 EP (^ fc )< oo . 

这样， （5) 式得证. k _ l 

( b ) 其次，证明 （6) 式.根据⑷式，需要证明对于 A = l - e , e >0, 以概率1对无 
限多个 n ， 有 S n 彡 A ^( n ). 现在将己证明的 （5) 式用于序列 (- S n ) n ^ u 则有可能除有 
限个 n 的值之外的一切 n ， (P - a . c .), 有 - iS n 彡 2 ip ( n ). 从而，如果叫= N k y N > 1, 
则对于充分大的/：，有 


S nk . l ^ -2^(n fc _i) ? 


或 


Sn k >Yk- 2i/j{n k - 



( 12 ) 


其中 K - S Tlk _ l . 

因此，如果证明了，对无限多个 A :, 


Yk > A^(n fc ) 4- 2t/ ； (n fc _i), 


(13) 
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则这连同 （12) 式可以证明，对于无限多个 fc ， 以概率1有、〉 Xxjj(n k ). 取某 
个 A ' e ( A ，1). 那么，存在> 1，使对一切 fc ， 

Y[2(A^ -A^-yinlnJV”" 2 
> 从 2 N k lnlnA ^) 1 / 2 + 2 、 2 N k _ l lnln N k ^ l ) l/2 
= X^(N k )^2^(N k ~ l ). 

现在只需证明，对于无限多个 fc , 


Y k > A , [2( iV A: - ^- i)lnln AT ^ j 1 / 2 . (14) 

显然， K 〜 N(0,N k - N k ~ l ). 因此，由于引理2,可见 


P{Y k > - N k - x )\n\nN k ] l/2 } 

〜 _ l _ e (- A ^ 2 lnlnN fc 

1/2^^(2111 In AT^)i /2 
> Cl k -( 入？ > 

" (Inky/ 2 〆 kink. 


因为 Z(^nk )- ] = oc , 则根据博雷尔-坎泰利引理的第 2 部分，以概率1对于无限 
多个 M14) 式成立 • 于是关系式 （ G) 得证. 

(c) 由 （ 5) 式和 （ 6) 式，立即得所要证明的⑺式. 口 

注 1 将⑺式用于随机变童 (- S n ) n>u 得 （P - a.c.) 



S n 
从 n ) 



(15) 


由 （7) 和 （15) 式可见，重对数定律亦可表示为如下 形式: 


P 





(16) 


注2 重对数定律说明，对于任意 e > 0,每一个 函数％ = (1 + e )^ 都是上函 
数，而函数 = ( l - e )0 是下函数. 

重对数定律的结论7与下面的关系式 等价： 对于任意 e > 0， 


P {|5 n | > (1 - s )^( n ), 对于无限多个 n } = 1， 
P {|5 n | 彡 （1 + e ) i ){ n ), 对于无限多个 n } = 0. 


3. 练习题 

1.设6,6,...是独立随机变量序列，且心〜 #(0,1). 证明 


P 


lim -^= 

71 v 2 Inn 




2 .设…是独立随机变量.服从参数为 A >0 的泊松分布.证明（与 A 无 


关) 


n Inn 


!卜 


3. 设6^2, ••- 是独立间分布随机变量序列，其共同的特征函数为 

Ee ~ u ^ = e _|t| °, 0 < a < 2. 

证明 i 

p {¥|^| nnb7=el/a } = 1 - 

4. 证明不等式 （ 9) 的如下推广的正确性.设 …，心 是独立随机变量，& = 
=心 + ••• + 心， 则对于任意实数 a, 列维 （ P. P. Levy) 不等式 成立： 

P | m^[S k + /i(5 n - S k )] > a| ^ 2P{5 n > a), 

其中 MO 是随机变量 《 的中位数，即满足下列不等式的 常数： 

P {0 刺 

5. 设 … ，《 n 是独立随机变量， Sq = 0, 5 /e = +…+ 0 t , 证明 

( a ) (第4题的补充） 

P ( max \Sk + //(5 n - S k )\ > a} < 2P{|5 n | ^ a}, 

其中 M ( G 是随机变量 € 的中位数. 

(b) 如果心，…，^是同分布对称随机变童，贝 IJ 

1 - e~ nP ^ ll>x ^ ^ P ( max |^| > xl ^ 2P{|5 n | > x}. 

J 

6. 设 C ], … ，6 i 是独立随机变童，且= 0(1 彡 i 彡 n ), S ^ =心+…+心，证明 
对于 a > 0 , 

P { max 5^ > a i ^ 2P{5 n ^ a — E|S n |}. 

J 

7 . 设 6, … ，& 是独立同分布随机变量，且 E & = 0, cr 2 = E ^ t 2 < oo ,5 n = 4- 

… + 61 ， |《 i | < C(P - a . c.),i ^ n. 证明，对于任意 0 < x 彡 2C- 1 , 有 

Ee x5n ^ exp{2 _1 nx 2 (7 2 (l + xC)}. 

在以上的条件下证明，如果 （〜） 是实数序列，满足 On / v/n — oo 而 drj = o ( n ), 
则对于任意 e > 0 和充分大的 n , 有 

P{^n > a n } > exp + ^)| • 
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8.设6，...，心是独立同分布随机变量，且 E & = 0，心| < C(P — a . c .)， i 彡 

n ； D n = D &. 证明，对于* S n = 6 + … + €n ， 普罗霍罗夫 （ H3. B . IlpoxopoB) 不 

t= 1 


等式: 

成立. 



§ 5 . 强大数定律的收敛速度和大偏差概率 

1. 事件的频率向槪率的收敛速度问题现在考虑第一章§6中曾经讨论过的伯 
努利概型.对于这种概型,棣莫弗-拉普拉斯定理给出 了标准（正 规)偏差 \S n -rip\ ^ 
e^x 的渐近式，其中标准偏差即对 中心值 np 的偏差量级为 v ^. 同是在第一章 
§6中，还对所谓 大偏差 |5 n - np | ^^71 的概率作出了估计，即 S n 对 np 的 72 级偏差: 

p { 令 -p &如 2 e - 2ne2 (1) 

(见第一章§6的 （42) 式).由此当然可以得到不等式 

p {s p # _p 卜如 5„ p {I 吾 _ 和 r^ e_2ne ' (2) 

不等式⑵给出了关于“随机变 fl SJn 以概率1收敛于 p 的速度”的一定印象. 

现在对于略微一般的情形，即对于 Sn = 6 +…+ 《 n 是独立同分布随机变量之 
和的情形，讨论形如 （1 ) ， （2 ) 的公式正确性的问题. 

2. 强大数定律中的收敛速度和大偏差概率称随机变量《满足克拉默 

( H . Cramer ) 条件，如果存在0的邻城，使得对于该邻域的任何 A ， 有 

< 00 (3) 

(可以证明，这一条件等价于“概率 P{|Cl > x } 以指数的速度下降 ”.） 

设 

ip(X) = Ee A ^, iP{X) = \n^p(X). (4) 

在集合 

A = {A € M : -0( A ) < oo } (5) 

的内部，函数分 ( A ) 是凹（向下凸）函数，且无限 可微. 这时 

沴 (0) = 0，#(0) = m (= E ^), V ( A ) > 0. 


建立函数 


H(a) = sup [a A — ^(A)], a G R, 


⑹ 


. 强大数定律的收敛速度和大偏差槪率 
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称做（随机变量《的分布函数 F = F ( x ) 6< J ) 克拉默变换. 函数 H ( a ) 也是凹函数，并 
且在点 ci = m 达到其最小值 0. 


如果 a > m ，则 


H ( a ) = sup[aA — ^( A )]. 

入 >o 


因此 




//(a) 


⑺ 


完全同样，对于 a < m , 有 H ( a ) 


sup[aA —矽 ( A )] 和 

入 <0 


从而（对照第一章§6的（ 42 )式） 

P {|4- m | < 2 e - min{//(m_€) ' //(m+e)} . 

设&是独立同分布、满足克拉默条件 （3) 的随机变量， 5 n =^ + 


⑻ 


⑼ 


H (入卜 InEexp | a ^-| ,0( A ) - InEe ' 


H n ( a ) = sup[aA -珍 n (入) j ， 

A 


( 10 ) 


则 


H n ( a ) = nH ( a ) 


nsup[aA - t />( A)]J , 


而不等式 （7), (8) 和 （9) 有如下形式: 


if <a 


彡 e 一 n// ⑷， a > m ， 


^ e 


n//(a) 


,a < m , 


(ii) 


( 12 ) 


^ g.\ ^ 2e~ niin{//(m-e),//(m+e)}xn 


(13) 


注 1 形如 




m ^ ^ ae 


bn 


(14) 


的结果，其中 a > 0 和 6 > 0,称做关于常数 a 和6的“正则”指数 收敛. 在大 偏差理 
论中相应的结果常用略有不同的、比较“ 粗糙” 形式表示为： 


limi In P / I — 

n n (J n 


m ^ < 0. 


(15) 


这种表示形式自然出于 （14) 式，在于说明“指数”收敛速度，但是不强调常数 a 和6 
的值. 
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现在考虑概率 


P ^ sup 孕 〉 a 

k^n ^ 


P < inf 孕 < a 

k^n K 


P { sup 

k^n 


Sk 

k 


m 


> € 


自上侧估计的问题.这些概率可以给出关于 强大数定律中收敛速 度的一定印象 
假设独立同分布非退化随机变量满足克拉默条件 （3). 


固定 n 彡1,设 


k ~ inf < A : ^ n 


:f >a }， 


当 彡 a , A : 彡 n 时，设 /c = oc . 
其次，设 ci 和 A > 0,满足 


Aa — \ n ( f ( X ) ^ 0. 


(16) 


那么， 


k^n K 



P 



k^n 


S k 、 

T >a 


S . 


P< — > a, k<oo 

K 


= P { e AS - > e Aa '« < oo } = P | e A5fc ~^ ,nv?(A) > < ocj 

彡 P 入）〉 e n[Aa-lnv?(A)] ^ < ^ 

< P ( supe ASfc-/clnv，(A) ^ e n [入 

k^n ) 


(17) 


注意，在证明的最后一步，随机变量序列 


e 


入） 


, fc ^ i , 


关于 a - 代数流= a ⑷，…彡1，是軼.（详见第七章,特别见§1例 2.) 
那么，由第七章§3不等式（8)，可以导出 

P *| Slip e 入& 一 彡 e n [ Aa-ln v ?( A )] ^ ^ e ~ n | Aa-ln i ^( A )] 
k^n 


从而，（在 （16) 式的条件下）得不 等式: 


P { sup 孕 〉 a > 彡 e 

k^n ^ 


n[Aa—In p ( 入 )) 


(18) 


设 a > m . 由于对函数 /( A ) = Aa - lnWA ), 有 /(0) = 0, /'( O ) 〉0,则存在 A >0 


使 （16) 式成立.从而，由 （18) 式可见： 如果 a > m ， 则 


P <； sup 字 〉 a > < e 

fe^n k 


—n sup [ 入 a — In tp(X)] 


入 >o 


e 


nH(a) 


(19) 
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同样，如果 a < m ， 则 

Pjinf I < a 卜”―⑽ =e -„ 刪 (20) 

由 （19) 和 （20) 式，可见 

pjsup 学一 m >e\ ^ 2e- mi ^ //(m - €) > //(m+e)}xn . (21) 

注 2 由 （11) 和 （19) 式右侧的相同，使我们想到这并非偶然.事实上，其解释 
在于，对于任何 n 彡 AT , 序列 ( S k / k ) n ^ N 是 可逆鞅 （见第七章§1练习题5,和第一 
章§11例 4). 

3. 练习题 

1. 证明不等式 （8) 和 (20). 

2. 验证在集合 A (见 （5) 式）的内部，函数 棒) 是凹（向下凸）函数（若随机变 
量《是非退化的，而且是严格凹函数)，并且无限可微. 

3. 在随机 变量纟 是非退化的假设条件下，函数 H ( a ) 在全直线上可微，并且是凹 
函数. 

4. 证明如下克拉姆变换的反演公式： 


■0( A ) = sup[aA — //( a )] 


(对于一切 A ， 只有集合 A = { A : xP ( X ) < 00 } 的有限个点可能除外). 

5•设 A = 6 +…+匕，其中…，? n,n > 1，是独立同分布的简单随机变量， 
且 E《i < 0, P{Ci > 0} > 0. 假设 ( p {\) = Ee 入 h ，而 inf A ( p ( X ) = p {0 < p < 1). 

证明下面的（切尔诺夫 [ MepnoB ]) 定理： 

lim - lnP {5 n >0} = lnp . (22) 

n 71 

6. 利用 （22) 式的结果，证明，对于伯努利概型 ( P {6 =1}= p , P {6 = 0} = g ), 
当 p < a : < 1 时， 

lim - lnP {5 n ^ nx } = - H ( x ), (23) 

n n 

其中（参照第一章 §6 的记号） 

Hix ) = a : In 王 + (1 -: r ) In \ — 

P 1 -P 


7 .设 S n =+ ••• + 彡1，其中 * * * 是独立冋分布随 机变量 ，且 
= 0, D^i = 1. 设数列 { X n ) n> i 满足： — OO , 而当打― OO 时 Xn /\/^ — 0. 

证明 x2 

P{S n ^ x n y/n) =e"^ L (l -f y„), 


\ 
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其中当 n — oc 时如— 0. 

8 .由 （ 23) 式证明，对于伯努利概型: P{6 = 1} =P ， P{6 = 0} = g, 

(a) 当 p < x < 1 ， 且: r n = n(x — p) 时， 

P{S n ^ np -f x n } = exp {-ni/ (p + $) (1 + o(l))|; (24) 

(b) 当 x n = a ny /npq 且 a„ — oo , a n / y/n — 0 时， 

P{^n > np^-x n } = exp -f o(l)) j* • (25) 

将 （ 24) 和 （ 25) 两式与第一章 §6 中相应的结果进行比较. 


第五章强（狭义）平稳随机序列和遍历 

理论 


§1 •强（狭义）平稳随机序列 • 保测变换 （3 4 ) 

1. 强平稳随机变量序列 （34) 

2. 保测变换 （34) 

3. 关于保测变换的庞加莱定理 （36) 

4. 练习题 （36) 

§2. 遍历性与混合性 （37) 

1. 保测变换的遍历性 （37) 

2. 变换的混合性及其与遍历性的关系 （39) 

3. 练习题 (39) 

§3. 遍历性定理 （40) 

1. 毕达哥拉斯一辛钦定理 （40) 

2. 在平均收敛意义下的毕达哥拉斯-辛钦定理 (42) 

3. 遍历性定理 （43) 

4. 练习题 （44) 
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在概率论的框架之外，可以将强平稳随机序列理论，表述为可測测度空间上的 
单参数保测变换群理论，它与动态系统的一般理论和遍历性理论临近. 
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§1•强（狭义）平稳随机 序列. 保测变换 

1. 强平稳随机变量序列设 （ a ，, p ) 是一概率空间， < = ⑹ ，&,•••)是一随 
机变量序列，或简称随机序列.以表示序列 fe + i , a +2,**-). 

定义1 随机变量序列？称 做强平稳的， 如果对于任意 k 彡1, w 和 $有相同 
的概率 分布： 

P {(《1，《2, • • •）G 只 } = P {(^ c + l ，^ c 十2, . • •） € B}，_B € ^( IR ^). 

由独立 同分布 随机变童€ = (6,6, …） 形成的序列，是平稳序列€最简单的 
例子.从这样的序列出发，可以构造广泛的平稳序列类7； = (7/!, 7/2,...)， 其中取= 
9(^ k ^ k + ir - ,^+ n ), M , X n ) 是任意博雷尔函数. 

如果€ =(匕匕…）是独立同分布随机变量序列， E |^| < oc , E^i = m , 则根据 
强大数定律，以概率1 

。+ 二 ± 心 — m ， n — & 

n 

伯克霍夫 （ G. D . Birkhoff ) 在 1931 年作 为力学定理， 得到了这一结果出色的推 
广.所谓力学定理，涉及动态系统的“相对到达时间”的性质，这里的动态系统是由 
微分方程描述的，而假设微分方程有积分变式（“守恒系统”). 

辛钦于1932年紧接着证明了，实际上伯克霍夫定理可以推广到更一般情形 ，多 
维空间在自身屮的运动，并且保持集合的测度不变”. 

我们将既在“动态系统”理论的框架内，又在“强平稳随机序列”的框架内，同 
时叙述伯克霍夫和辛钦的结果. 

这时基本着重点放在该理论有关“遍历性”的结果上. 

2. 保测变换设 （ f 2,，, P ) 是一(完备）概率 空间. 

定义2 如果对于任何 A € 有 

T~ 1 A = {u ；： Tu ； eA}e ^ 1 


则空间 Q 到自身的影射 r 称做可测的. 
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定义3 如果对于任何 A G 有 

P(T~ l A) = P(A), 


则可测影射 r 称做保 測变换 （ morphism). 

设 r 是保测变换， r " 是其 n 次幂 ，而心 = ^( cj ) 是一随机变量.设&二 

考虑序列 （ =(6,6，...).我们证明此序列是平稳的. 

事实上，设 A = { o ; € B }, A x = { uj ： O x ^ eB }, 其中 B € j ( R °°)， 则 a ; € Av 

当且仅当 ru ； € 次即央 = T-M. 由于 P(T-M) = P ( A ), 可见 P(>li) = P(A). 同 
样，对于任意事件 A k = { u : e k i e B }， fc > 2,有 P ㈤ = P ⑷. 

这样，所引进的保测变换，为建立强平稳序列提供了可能性. 

在一定意义上有¥反的结果：对每一平稳序列$，对所考虑概率空间 ( a ^, p ), 
f 在新概率空间 （ a 歹，戸)，以及随机变童 6(5) 和保测变换 f ， 使随机序列 f = 

6⑼, fi ( fG )， … } 与随机序列 c = {6 M ,6( 吵… } 有相同的分布 • 

事实上，作为行取“坐标”空间 R 00 , 并设歹 ( IT °)， P 二 P ^， 其中 P ^( B ) = P { u ;: 

^ e B},B e 义 ( R 00 ). 空间行的变换 f ， 决定于关系式 T ( xi , x 2 ,---) = ( x 2 , X 3,---). 
对于 G = (: 2^ ，: r 2 , …），记 

6( d ；) = x 1> n ^2. 

•M 

现在设 i 4 = {cD : ( xi , ••- ， Xfc ) 6 B},B € ^( R k ) y 且 T _ M = {5 : ( X2 ，… , xjb + i ) € B ). 
那么，由平稳性，可见 

P ( A ) = P { u ; •• (6，.•. ，心) € B } = P { a ； •• (6, … , Cfc + i ) eB } = P(f 一 1 A )， 

即 f 是保测变换.由于对于任意 / r ， 

Pp ： 名，…， 6) = P { u ;: (心，… ，00 € B }， 

则由此可见 € 和 f 有相同的分布. 

下面是保测变换的例子. 

例1 彡2,是由有限个点构成的集合，，是0中一切 

子集的 CT 一 代数， Ta = 1 彡 i < n - 1,而 了 0 ；„ = u ； i . 如果 P ( a ； i ) = 1/ n ， 则 T 

是保测变换. 

例2 设 n = [0，1)，，=义 ([0,1 )),P 是勒贝格测度 ，;V € [0，1)，则 ： Tx = (x + A ) 
是保测变换. 

现在考虑导致研究保测变换的物理前提条件. 

假设某一系统按照一定运动规律（在离散时间）演变，并设想 n 是该系统的状态 
U ； 的相空间.那么，如果 U ； 是系统在时刻 n = 1的状态，则 rv ； 是经过 n 步系统进入 
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的状态，其中 T 是（该运动规律诱导的）推移算子.其次，假如 4 是某一 “状态 u ； 的 
集合”，则 T- 1 A = {uj : Tu ;€ A } 根据其定义是经一步到达集合4的一切‘‘初始”状 
态 o ; 的集合.因此，假如把17视为“不可压缩的液体”，则条件 P ( T - M ) = P ( A ) 可以 
视为完全自然的 “ 体积”保持不变的条件.（对于经典的封闭哈密顿 （ W. R. Hamilton) 
系统，著名的 刘维尔 （ J. Liouville) 定理 断定，相应的变换: T 是保持勒贝格测度不变 
的变换 .） 

3. 关于保测变换的庞加莱定理下面关于“常返性”的 庞加莱 （ J. H. Poincare) 
定理 (1912), 是有关保测变换最早的成果之一. 

定理 设 （ a 义, P ) 是一概率空间，: T 是保测变换， AeJT 那么，对于无限多 
个 n > 1和几乎一切点 a ; € >1，有 T n cu G A . 

证明记 C = { a ; e 乂： T n uj i A , 对于一切 ri 彡 1}. 由于对于任意 n 彡 
l ， Cf | 了= 0，则 ： r - m Cn 了 - (m+n> C = T - m ( Cf ] T - n C ) = 0. 这样，序列 
{ T ~ n C } 由有相同 P _ 测度的不相交集合构成.因此， 

oo oo 

p(c) = ^ p(T~ n c) < p(n) = 1 ， 

n=l n=l 

从而 P ( C ) = 0. 从而，对于几乎一切点 u ; € 4和至少对于一个 n 彡 l , T n a ； € A 由 
此可见 1 对于无限个 n > 1,有 T n uj = A . 

将上面得到的结果用于变换 T k ^,k ^ 1. 那么，对于每一个点 a ; e A \ N , 其中 
N 是0 概率集合（并且 W 是对应于不同 A : 的相应集合的并)，存在这样的 n fc ， 使 
( T k )^u € A . 由此显然可以得到，对于无限多个 n ， 有 T - a ; G A □ 

系设 Ua ;) > 0,則在集合 { a ; : 《( a ;) 〉 0} 上 

OO 

^(T k uj) = oo (P — a.c.). 

A：=o 

实际上，设 A = {u ； :《⑼彡 1/n }， 那么，根据上面的定理在集合 4 上，有 

n 

^2^(T k io) = oo (P-a.c .)， 

k=0 

如果令当 n — oo 时，得所要证明的 结果. 

注假如将概率测度 P 换成任意有限测度< oo ), 则定理仍然 成立. 

4. 练习题 

1. 设： T 是保测变换，《=是一随机变量，并且有数学期望 E 《( o ；) •证明 

E^(u;) = E^(Tcj). 

2. 证明，例1和例2中变换 T 是保测变换 

3. 设= [0,1)，叉 = j ([0， l )), P 是具有连续分布函数测度，证明变换 


Tx = Ax (0 < A < 1) 和 Tx = x 2 


§2. 遍历性与混合性 
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都不是保测变换. 

4. 设 D 是一切实数序列 a ； =(…，^，叫， A ，…） 的集合，叉是由可测柱集 
诱导的 (7 - 代数，其中的可测柱集为 {w : ( u ； fc ， … , Uk +n --[) e Bn}(n = 1,2,••- ;k = 
o , 土 1, 土2,…），而 e j ( R n ). 以 P 表示 ( a ^) 上的概率测度，而双侧变换： T 决 
定于公式： 

T (… ， u ；- i ， u ； o ， u ； i ，• • •） = ( … ， a ； o ， a ； i ， u；2, … ）• 

证明，： T 是保测变换，当且仅当对于一切 n = 1，2，." ，fc = 0,士 1，土2，...和 e 
j(R n ) 

P{cJ : ( W 。， … , Cx ； n - l ) € B n ) = P{(J : ( U ； fc ， … ， U ； fc + ri — i ) € B n }. 

5 . 设是一平稳随机元序列 ( n 彡 0) 的值属 于博雷 尔空间5 (见第 
二章§7定义 9). 证明，可以构造（有可能在原概率空间的扩展空间上）在5中取值 
的随机元素使双侧序列… ••- 是平稳的. 

6. 设 r 是 (0,^,P ) 上的可测变换，冱是由= 3 T ) 诱导的 Q 子 

集的 7T -系.证明，如果对于 A e 缪等式 P { T ~ l A ) = P ⑷成立，则此等式对于 
AG TT^)) 也成立. 

7. 设： T 是在 （D，，P) 上的可测变换，妒是叉的子 (7- 代数.证明对每个 
4 e f， 有 

P ( A \^)( Tuj ) = P ( T - 1 A \ T - 1 ^)( lj ) (P - a . c .). (1) 

特别，设 n = r °° 是数列 a；= (峋焉…)的空间，而⑽)=叫的; r 是推移变换: 
TVoWi, …）=(0；1，奶，…），换句话说，若=叫，则 ik ( T ( jj ) = u; fc+ i. 那么，等 
式 （1) 有如下形式 

P ( A \^ n )( Tij ) = P ( T - U | e n + i )(^) ( P - a . c .). 

8 . 设 r 是在 （a，） 上的可测变换，少是所有概率测度 P 的集合，而关于概率 
测度 P, 变换 r 是保持测度 p 不变的 变换. 证明： 

( a ) 集合少是 凸的； 

( b ) 变换 T 关于概率测度 P 是遍历变换，当且仅当 P 是集合多的边界点（即 
不能表示为如下形式的点 ： P = MPi + A 2 P 2 , A 1 > 0, A 2 > 0, A ! ^ A 2 = l,Pi ^ 

P 2 , Pi ,P 2 €^). 

§2. 遍历性与混合性 


1. 保测变换的遍历性在整个这一节中，我们都将以了表示作用于概率空间 
( n ,^, p ) 上的保测变换. 

定义1 集合 A G ^称做不变的，如果 T-M = A 集合4 e ，称做 几乎不 
变的，如果災和 T- l A = A 只相差 一 0测集，即 P (> lAT - l A ) = 0. 
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不难验证，不变(几乎不变）集合类/ (相应地构成 a - 代数. 

定义2 保测变换 r 称做 遍历的 （或度量 可递变 换)，如果每一个不变集合4 
的测度只能为0或 1. 

定义3 随机变量 r/ = r/(a ;) 称做 不变的 （或几 乎不变 的)，如果对于一切^ 

(对于几乎一切 u; € Q ) 咖）= v ( Tuj ). 

下面的引理建立不变集合与几乎不变集合之间的联系. 

引理 1 如果災是几乎不变集合，则存在一几乎不变集合使 P ( AAS ) =0. 
证明设 B = Mr_M， 则 T - 1 B = = B ，即 B 不难验证 

OO 

AAB C [J(T- fc AAr- (fc+1 M). 

fc =0 


由于 P { T ~ k AAT ^^ + l ) A ) = P ( AAT ^ A ) = 0 y 可见 P ( AAB ) = 0. □ 

引理2 变换 r 是遍历的，当且仅当每一个几乎不变集合4的测度只能为0 

或 1. 

证明设乂 e 则根据引理1，存在一几乎不变集合 B， 使 P ( AAB ) = 0.但 

是，由于变换 r 是遍历的，故 P(^) == 0或 1. 由于 y g 夕〃，故逆命题显然成立 .口 


定理1 设 T 是保測变换.下列各个条件 等价： 

(1) T 是遍 历的； 

(2) 每一个几乎不变随机变量以概率 P 为1是常数； 

(3) 每一个不变随机变量以概率 P 为 1 是常数 • 

证明 (1)^(2). 设了是 遍历的，而《是几乎不变的，即以概率1有 = 

那么，对于任何 c € R ， 集合4 = {a; ^ c} € 而根据引理2, P ( A C ) = 0 

或 1. 设 （7 = sup{c : P(A C ) = 0}. 当 c 了 00时人 T A 而当 c 丄 一 OC 时 A c 丄 0，故 
C < oo . • 


那么， 


P{u；: ^( u ) < C } = P 



= 0; 


类似可得， P{w : 《(a;) > C} = 0. 于是， PX( cj ) = C} = 1. 

(2)=>(3). 显然. 

⑶ 4(1). 设 A € 义，则 h 是不变随机变童，因此以概率1有 “ = 0或心=1, 
故 P ( A ) = 0或 1. □ 

注如果在定理中的随机变量有界，则定理的结论仍然成立. • ‘ 

为演示该定理的应用，我们看下面的例子. 

例设 Q = [0, 1)^ -雳([0, 1))，P 是勒贝格测度， 而 Tu ; = (uj + l)mod 1. 证 
明 r 是遍历变换，当且仅当 A 是无理数. 


§2. 遍历性与混合性 
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设 e = 是不变随机变量， E^ 2 (o；) < 00 . 熟知，具有的 E^ 2 (u；) < 00 函数 

的傅里叶级数 _g C n e 2 — 均方收敛，且 E |c n | 2 <00. 由于 : T 是保测变换 （ §1 例 

2) ，则由于所假 7 机变量《 = 《 (㈧ 的不变性 （ §1 练习题 1 ). 可见 

c n = E ^( u ；) e- 2ninuJ = E €( ru ；) e— 27rmTw = e ~ 27 rinA E ^( ru ;) e - 27rinu; 

= e -2^nA E ^ (u;)e -27rmw ^ 


因此 Cyi (l - e - 2 -^) = 0. 根据条件 A 是无理数，即对于一切 n # l , e_ 2 ^ A 麥1.于 
是， c n = 0 ，n / l ? ^( u ；) = co(P — a . c .)， 而根据定理1，了是遍历 变换. 

另一方面.假如 A 是有理数，即 A = k / m , 其中和 m 是整数.考虑集合 



k 


2 m 


< 



显然 5 集合 A 不变的，然而 P ( A ) = 1/2. 从而, r 不是遍历的. 

2. 变换的混合性及其与遍历性的关系 

定义4称保测变换： T 为混合（具有泥合性的)，如果对于任意牵 S 有 


lim P ( Af ] T - n D ) = P ( A ) P ( J 5). (1) 

n—♦oo 

下面的定理指出了变换的混合性与遍历性的关系. 

定理2 具有混合性的任何变换 r 都是遍历的. 

证明设 AeJ ^. Bey ", Pi B = T ~ n D , n ^ 1,即对于一切 n 彡1，有 


P(AflTI) = P(AflB). 

因此由于 （1) 式，当 A = B 时 P ( B )= P 2 ( B ), 于是， P ( B ) = 0 或 1. □ 

3. 练习题 

1. 证明随机变量< = do ;) 是不变的，当且仅当它^-可测 • 

2. 证明集合4是几乎不变的，当且仅当 P ( T - M \ A ) = 0. 

3. 证明变换 r 具有混合性，当且仅当对于任何两个随机变董 《和 r ? •• Ef < 

oc , E " 2 < oo ， 当 n — oo 时，有 

E^(T 1 o ； )r/(u;) —> E^(cj)Et/(lj). 

4. 举例说明，保测遍历变换未必具 有混合 性质. 

5. 设 r 是空间 （ a ，, P ) 上的可测变换, J 是 D 的子集的 (7- 代数，而 a {^4) = 
3 T . 假如定义4仅要求性质 


lim P ( AC \ T - n B ) = P ( A ) P ( B ) 

n—♦oo 
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对于糸 B J 成立.证明此性质对于一切 A , Be ^ = <7( J ) 成立.（从而变换了 
是混合). 

证明如果^是 7 T - 系且 7 T ( 乂）= ^,则上述结论仍然成立. 

6. 设火是几乎不变集合.证明，当且仅当对于一切 n = 1，2,…, T - O ； € 以概 
率1，有0；€儿（对照§1的定理 .） 

7. 举一空间叽， P ) 上的保测变换 T 的例， 使得： 

( a ) 由>1 e ，绝对得不出 TAe ^； ； 

( b ) 由4 ，和 TV 1 €，绝对得不出 P ( A )-= P ( TA ). 

§3. 遍历性定理 

1. 毕达哥 拉斯- 辛钦定理 

定理 1 (毕达哥拉斯 [ Pythagoras ]- 辛钦） 设了保测变换，而 $ = <( o ;) 是 
随机变量， E |^| < oo . 那么， 


lim - y aT k uj) = E ⑷义 ） （P - a . c .) 

n 71 fc =0 


⑴ 


而且，若： r 是遍历的，則 


lim - y i { T k Lj ) = (P — a . c .). 
n k=o 


⑵ 


该定理的证 明本质 上基于下面的引理，其简单的证明是加尔西亚 （ A . M . Garsia , 
1965年）得到的. 

引理（最大遍历性定理） 设： T 保测变换，而€ = ^(a;) 是随机变量， EW < oc， 

且 


Sk{(^) = + S(Tcj) + …+ f(T fc_1 o »)， 

M k ( uj ) = max {0,5 i ( u ;),-- , S k ( u )}. 


那么，对于任意 n 彡 1, 有 

E [ C (^)^{ m „> o }(^)1 ^ 0* 

证明如果 n > fc ， 则 M n {Tu) ^ S k (Tcj), 从而 

《(u;) + M n {Tu) ^ + S k [Tu) = S k+l (u). 

因为显然 €(cj) > Si(oj) — M n (Tcj) y 所以 


^( u ;) > max { Si ( a ;), •• - , S n ( u )} - M n ( Ta ;). 




注意到，由于 { M n (( j ) > 0} = { max [ Si ( u ;)， …, 5 n ( a ;)] > 0}, 可见 

a/„>0 } (^)]彡 Elmaxpi^) ， …, S n (u;)} — M n (T(j)I^ rt>0 ^(uj)] 

彡 E [ M n ( u ;) - M n ( Ta ;)/{ A f n ( u ; ) > o }( u ;)] 

彡 E[M n (u;) - M n {Tuj)\ = 0, 

其中用到，如果 r 是保测变换，则 EM n (uj) = EM n (Tu) (§1 的练习题 1). 
证明定理 1 假设 E (^|^) = 0 (否则用 4 - E ( e |^) 替换 0 •设 


rj = M^ 

n n 




lim — 

n 打 


为证明 （ l ) 式，只需证明以概率1，由 


0 77 ^ ^ ^ 

考虑随机变量 巧 = Tj ( o ;). 由于万 = r]{Tu )), 可见 巧 是不变的.从而， 对于 每一个 £： > 0 
集合山 ={^) > £ } 是不变的.现在引进新的随机变量： 


C (^) =[《⑼ 一 £ Va k ( u ) 


并设 


物=+ c ( Tuj ) + …+ r (了卜 V )， 

A /^ u ;) = max {0,5 f ( a ;),..- ，匁 ⑼}. 


那么，根据引理，对于任意 n > 1，有 


E[C*/{m*>o}] ^ 0* 


而当 n — oo 时 


{ K >0} 


{心 >0 } 


sup ? > 

fc^l ^ 


°} = { 


t \ sup 5^ > 0 

U 彡 1 

< sup — >s 

U>i k J 


f]A c = A c 


其中由于 sup S k /k > 7), 而且 A € = {lj : fj > e }, 可见最后一等式成立. 

k ^\ 

此外， Eiri 彡 m + e . 因此，根据控制收敛定理，有 

0 《 E[^*/ {m . >0 }] E[d c ]. 


于是， 


0 < E{CIa c ) = E[(^ - e)I Ae \ = E 队] - sP ( A e ) 
= ^ m \^) I At ] - eP ( A e ) = 一 eP (山 )， 
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因此 P ( A £ ) = 0,从而，有 P {^ 彡 0} = 1. 
类似地，用 - Uu ；) 代替 《( U ；)， 有 


lim 



lim ^ 
~ n 




而 P{-q $ 0} = 1，即 P{g ^ 0} = 1. 因而，以概率1有0 < 2 彡巧 彡 0 .于是，证明 
了定理品第一个结论. _ _ 

为证明了定理的第二个结论，只需注意到，由于 E (^|^) 是不变随机变量，可见 
若丁 是遍历的，则以概率1有 E (^) = E ^. □ 

系 保测变换 了是遍 历的，当且仅当对于任意牵，有 



Z p(y4nr- fc B) = 

A ：— 0 


p ㈤ p ⑼. 


⑶ 


为证明： T 的遍历性，在 （3) 式中设 A = B 则 Ar \ T^ k B =丑，故 P ( B ) = 
P 2 ( B ), 因此 P { B ) = 0或 1. 相反，设 r 是遍 历的，则对于随机变童 € = M ( o 0, 由 


(2) 式可见以概率1有 


lim — ^ r - k p ( u; ) — P ( J 5)- 

n n 


k=0 


于该式两侧在集合上同时求积分，并利用控制收敛定理，得所要证明的关系式 （3). 

2. 在平均收敛意义下的毕达哥拉斯-辛钦定理现在证明，在定理1的条件 
中的 （1) 式和 （2) 式，不仅以概率1收敛，而 且平均 收敛也成立.（下面定理3的证明 
将要用到这一结果 

定理2 设: T 保测变换，而 < = 咖) 是随机变量， E | C | < oo . 那么， 


E 


n 




fc =0 


―> 


0， n — oc . 


⑷ 


而且，若 T 是遍历的，则 


E 


1 


n 


E -e(o 


fc=o 


0， n — oc 




证明对于任意 e > 0,存在一有界随机变量 r /(| r /( o ;)| 彡 Af ), 使 E|C - 7/|彡那 


么， 


E 


n 




fc =0 




n 






+E 


n 




Ar=0 


I 

-t- 


E|E(C|^)-E(^)|. 


⑹ 




由于 M 彡 Af ， 则由控制收敛定理和 （1) 式可见，当 n — 00时， （6) 式中不等号的右 
侧第二项趋向 0. 至于第一项和第三项中，每一项都小于或等于&因此，对于充分 
大的 n , ⑹式小于2£,从而⑷式得证.最后，如果若 r 是遍历的，则由⑷式，以 
及定理1之证明末尾的说明：“若: T 是遍历的，则以概率1有 E ( e |^) = EC ， 立即 
得 （5) 式. 口 

3. 遍历性定理现在考虑遍历性对于强平稳随机序列正确性的问题.设《= 
(匕乂 2 ，…）是定义在概率空间 （ n ，，， p ) 上的强平稳随机序列.一般，在 ( n ，， P ) 
上有可能并不存在保测变换，故不运用定理 1. 不过，在 § i 中己经指出，可以 
考虑建立这样的（坐标）概率空间随机序列€=(己石，…)和保测变换 
f , 其中 6,(5) - 使得《和『按分布相等.由于这一性质，像几乎必然收 

敛与平均收敛一样，只与概率分布有关，则对于某个随机变量&由以概率1收敛与 
平均收敛意义下 

k = l 

可得 n - 1 f ： 也以概率1收敛与平均收敛意义下收敛于某随机变童 V : V & V . 

k=l ^ 

由定理1可见，如果甸心 < 00 , 则巧= E ( Cil ^), 其中歹是不变集合的全体 （ E 是 
对测度戶求平均).现在描绘随机变量 r / 的结构. 

定义1称集合 Ae ^ 相对于序列为不变的，如果存在集合 B e 
使对于任何 n > 1，有 

{u ； \ (Cn^n+l ? ***) ^ B}. 

这样不变集合的全体构成 a - 代数，记作 

定义2平稳序列《称为遍历的，如果任意不变集合的测度只有0或1两个可 
能值. • 

现在证明，当 n — 00时，随机变量 r ? 在以概率1收敛与平均收敛意义下，是随 
机变量 n - 1 £ aM 的极限，且可以取作 E (^|^). 为此首先注意到，自然可以设 

k=l ‘ • . 


咖 )= ITm- 


⑺ 


由上极限 Rm 的定义可见，对于这样定义的随机变量 rKo ；)， 集合 { u ; : 7^) < y}(ye 
R ) 是不变的，从而7?为可测.其次，设 A e 又纟.那么，由于 

1 

E — 2^ — V —► 0, n — 00 , 

I 71 k=i 

可见对于由 （7) 式定义的 r /， 有 

-E / ^dP - / //dP. 

^r^JA Ja 



⑻ 
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设 B e 满足 条件： 对于任意 * 彡1，有4 = {o; :(心，心 +1 ，…）€ 5}. 那么, 

由于6的平稳性，可见 

[ adP = f ^ k dP = f 6dP= / CidP. 

… )6S} J{u ； :(K2, … )€S} JA 

因此，由 （8) 式可见，对于任意4 e 有如下等式 

J^dP = J^ v dP. 

该式表明（见第二章§7的 （1) 式)， （ 可测）随机变量7/ = E(6|^), 并且如果 
序列之是遍历的，则 E(6|^) - E6. 

于是，证明了下面的定理. 

定理 3 (遍 历性定理） 设 f = (6,6，...）是强平稳序列， E |6 l < oo . 那么，（在 
以概率1收敛与平均收敛意义下） 


fc=l 

并且，如果同时《又是遍历序列，則（在以概率1收敛与平均收敛意义下) 

1 n 

lim - [心 ( a ;) = E ^ i . 

n n t \ 


4 . 练习题 

1 •设 € = (6，心，…）是高斯平稳序列， E 匕 = 0,而相关函数为 R(n) = E^k+n^k- 
证明 ， R(n) _ o 的充分条件是，对应于随机变量序列 C 的保测变换 为混合 （因而是 

遍历 的). 

2. 对于任何独立同分布随机变量序列《=(6，&，...），相应的保测变换都是混 
合. 

3. 证明平稳序列《为遍历的，当且仅当对于任意5€义(1^)，& = 1，2,".，以概 

率1， ^ 

丄 [ ,5( 。， … ，《 i+fc-l) - ^ P{(^1> - - - »C/c) ^ B}. 


4. 设 P 和 P 是 (( 1 ^) 上的两个概率测度，且关于 P 和歹的保测变换: T 是 
遍历的.证明，这时要么 P = P， 要么 P 丄 P. 

5. 设 r 是⑴, ，，P) 上的保测变换,而』是 n 的子集的代数，且 aM) =，; 

设 n — 1 

71 fc =0 

证明变换: T 是遍历的，当且仅当满足下列条件之一： 




S 3. 遍历性定理 
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( a ) 对于任意 P ( A ); 

( b ) 对于一切 A , Be^ r 

i * 

lim- ^ P(Af]T~ k B) = P ⑷ P ⑹； 

^ k =0 

( c ) 对于任意 P ( A ). 

6 . 设 r 是 ( a ^, P ) 上的保测变换.证明变换 t (关于测度 P ) 是遍历的，当且 
仅当在 ( a ^) 上不存在概率测度 p # P ， P 《 p ， 而且 r 关于测度 p 是保测变换. 

7. (伯努 利推移 变换）假设 S 是一有限集合（例如 ， S = {1，2, •…， N })、 而 D 
是序列0；=(叫，^，…）的全体，其中叫€ &设并且定义推移变换: 
T ( a ； o ， a ； i ，•. •) = ( u ； i ， u ；2, …），即对于《0，《1，…，如果 = 叫，则 ^ k ( Tuj ) = 

假设在集合 S = {1，2, • • • ， 7 V } 的元素 i 上给定正数仍，且 p ! + J >2 + • • • + PN = 1 ( 即 
数组 （ Pi ， P 2, … , Pn ) 是概率分布).利用这一变换可以在(5^,^(5-))上定义测度 
P (见第二章 §3) 


P { u ; : ( a ； i , ••- , LJ k ) = ( tii , ••- , u k )} = p Ul - - - p Uk • 


换句话说，按独立的原则引进概率.关于这样建立的测度 P ， 推移变 
换 T 习惯上称做 伯努利推移或伯努利变换. 

证明伯努利变换具有混合性质. 

8•设 r 是 （ a ，， P ) 上的保测变换.引进记号 { T-M :火 e ，}，并 
且称 ^7- 代数 ^ 

^_ oo = n 

n= 1 

是 平凡的 （ p - 平凡的)， 如果中的每一个集合的测度为0或1 (这样的变换称 做柯尔 
莫戈洛夫变换). 证明柯尔莫戈洛夫变换具有遍历性，并且具有混合性. 

9.设1彡 p < oo ， t 是概率空间 （ a ，, p ) 上的保测变换，而随机变量 e 

LP(a ，， P). 

证明空间 I / P ( Q ，7， P ) 上的如下（冯 • 诺伊曼 [ J . von Neuman ]) 遍历性定理： 


E 


洁广 -咖) 


0 


n oo . 


10. 根据博雷尔定理（第四章§3例 2): 区间10, 1) 上数的二进制分解中“1的 
比率”和 “0的比率”（关于勒贝格测度）几乎必然收敛于 1/2. 如果将这一结果视为 
由公式 


T ( co ) = 2 u;(mod 1) 
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定义的区间[0, 1) 到自身的变换： r :丨0, 1) — [0,1)，试利用遍历性定理1，证明上述博 
雷尔定理. 

11. 同上题一样，设 [0,1). 考虑由公式 

[ 0, 若 U ； = 0， 

定义的变换: T : [0, 1) — [0,1 )， 其中 {x} 表示数 a ： 的分数部分. 

设尸 = P(.) 是区间 [0,1) 上的高斯測度， 由如下公式 定义： 

p{A) = ^Lrr^ 心聊 ， ”)• 


证明变换 T 保持高斯测度不变. 

12. 举例说明，对于具有无限测度的可测空间，庞加莱“常返定理” （§1 第3小 
节）一般不成立. 


第六章弱（广义）平稳随机序列 . L 2 理 

论 


§1. 协方差函数的谱表示 （49) 


1. 平稳过程的概念与协方差函数 （49) 

2. 平稳序列的例 （51) 

3. 赫尔格洛茨定理（55〉 

4. 练习题 (57) 

§2. 正交随机测度和随机积分 （57) 

1. 扩充积分概念的必要性 （57) 

2. 随机测度 (58) 

3. 随机积分 (59) 

4. 随机测度的延拓 （60) 

5. 正交增 ft 随机过程 （61) 

6. 练习题 （62) 

§3. 弱（广义）平稳序列的谱表示 （62) 


1. 平稳随机序列谱表示 （62) 

2. 由平稳序列经线性变换得到的随机变量的构造 （66) 

3. 线性滤波器 (67) 

4. 遍历性定理 (70) 
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5. 练习题 （72) 


§4. 协方差函数和谱密度的统计估计 （72) 

1. 协方差函数的估计及其性质 (72) 

2. 谱函数和谱密度的佔计的求法 （75) 

3. 谱函数的估计 （77) 

4. 练习题 （78) 

§5. 沃尔德分解 （ 78) 

1. 平稳序列的正则分量和奇异分量 （78) 

2. 沃尔德分解 （80) 

3. 外推和预测 （82) 

4. 正则序列的充分和必要条件 （83) 

5. 练习题 （84) 

§6. 外推、内插和过滤 （85) 

1. 外推 （85) 

2. 内插 （90) 

3. 过滤 (92) 

4. 练习题 (94) 

§7. 卡尔曼-布西滤波器及其推广 （95) 

1. 卡尔曼-布西概型，卡尔曼-布西滤波器 （95) 

2. 最优线性滤波器的结构 （99) 

3. 例 (101) 

4/练习题 (103) 



§1. 协方差函数的谱表示 
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§1. 协方差函数的谱表示 


1. 平稳过程的概念与协方差函数根据上一章给出的定义，随机序列€ = (6, 
心，…） 称做强 平稳序列①， 如果对于任意集合 Be 与任何1， 

P {(6, 6,…）€ = P {( Cn 十以 n +2, …） € 外 （1) 

特别，由此可见，若 E 0 < 00, 则 E 心不依赖于 n : 

( 2 ) 

而且协方差 cov (^ n+m ,^ n ) = E($ n+m - E 4 n+m )(^n - E ^ n ) 只依赖于 m : 

COV (《 n + m ， = COV ^ i + ttj ，《1)， （3) 

这一章将研究（具有有限二阶矩的）所谓弱（广义）平稳随机序列，这里将条件 
⑴换为条件 （2) 和 （3). 

假设所考虑的随机变量 《 n ， 对于 n e Z = {0, 土 1,… } 有定义，而且取复数为值. 
这一假设非但不使理论复杂化，反而使之更加雅致.这时，实值随机变量的有关结果， 
自然容易由复值随机变量的相应结果，作为其特殊情形得到 • 

设炉=// 2 叽 叉， P ) 是（复值）随机变童之的值空间：^ = a + i ^ a ,/3 € R , 
且 EK | 2 < oo , 其中 |^| 2 = a 2 4- /3 2 .如果 tr / eH 2 , 则设 

(《，”) = E 沉 （4) 

其中 $ = 是 r ? = a + 切的共轭随机变量•记 

I 旧 =( ⑶ 1/2 . ⑼ 

①强平稳序列（过程)，亦称严格意1下的平稳序列(过程)，或严平稳序列（过程).弱平稳序列 
(过程)，亦称广泛意义下的平稳序列（过程)，或宽平稳序列（过程).一译者 
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确切一点说，是等价随机变量类的空间（见第二章§10和 §11). 像实值随机 
变量一样，引进了内积 ㈣ 和范数 | 咖 的空间炉是完 备的. 按泛函分析的术语， 
空间 胪 称做所考虑概率空间 （ a 叉， p ) 上的随机变量的酉（或 复） 希尔伯特 （ d . 
Hilbert ) 空间 • 

如果 <，77€孖 2 ,则称 


cov($ r/) = E ( 《 - E0(V - Er/) (6) 

为€和7/的协方差. 

由 （4) 和 （6) 式可见，如果 EC = E ” = 0,则 

cov (^ rj ) = (7) 

定义复值随机变量序列 € = (^ n ) n € Z , E |^| 2 < 00, n G Z , 称做弱 广义平稳的， 
如果对于所有 n € Z ， 有 


E^n = E 〜， 

cov(^n +fc ， Cn) = covKo )， k GZ. 


⑻ 


为叙述简便.以后总是假设 E《o = 0. 这一假设并不影响一般性，然而（由于 （7) 
式）却可以使协方差与数积有相同的形式，因此使希尔伯特空间理论的方法和结果 
用起来更加简单. 

记 

R { n ) = covKo)，n 6 Z , (9) 

和（在假设 R (0) = E |^ o | 2 #0 的条件下） 


p ( n ) = 


g ( g ) 

爾， 


n G Z . 


( 10 ) 


我们把函数 R ( n ) 称做（弱平稳序列的） 协方差函數，而 p ( n ) 称 做相关函数. 

直接由定义⑼可见，协方差函数 R ( n ) 是非负 定函數，即对于任意复数 cn , …， 

a m , 与任何 G， …， e Z ， m 彡1，有 


> : Q ， iOijR(ti ~ tj ) ^ 0. (11) 

* J =1 

同样，由此（或由 （9) 式）不难得到（练习题 1) 如下协方差函数的 性质： 


R (0) ^ 0, i ? (一 n ) = i ?( n )，| i ?( n )| ^ fi (0), 
\ R ( n ) - R ( m )\ 2 < 2 R (0)[ R (0) - ReR(n - m ) J . 


(12) 


.. 协方差函数的谱表示 _^ 

2. 平稳序列的例下面是一些平稳序列< = (^ n ) n ez 的例.（为简便计，下面常 
省略弱平稳过程的“弱”字，以及 n e Z). 

例 1设其中 E《 0 = 0，E|《o| 2 = 1，而 p = ^(n) 是某一 函数. 随机 
变量序列 < =(心） 是平稳的，当且仅当函数〆 fc + n )^( F ) 仅依赖于 n. 由此不难看 
到，存在这样的 A， 使 

咖 )=鼻 

因此，随机变量序列 

^ o 9(0) e lXn 

是平稳的，且其协方差函数为 

R(n) = | 夕 (0)|V An . 

特别，“在时间上随机的常数” 形成平稳序列 • 

注我们关于例1指出，由于 = e〜 A+2 叫，知=士1,土 2 ,…，贝 IJ (圆）频率 A 
的值仅精确到任意被加项的 27T 倍.按照习惯，以后总假定 A € [-7T,7T). 

例2 殆周期性序列设 

N 

in = Y j Z k e iX ^ > n€Z, (13) 

fc=l 

其中 々，•••， 是正交随机变童 ： EziZj 而且均值 = 0 ; E \ z k \ 2 = 4> 

因此，随机变量序列(心）是平稳的，且其协方差函数为 

N 

R(n) = Y, a k^ Xkn - ( 14 ) 

fe=l 

为推广 （ 13) 式,现在设 ^ 

k=—oo 

其中具有与 （ 13) 式中同样的性质.如果假设 _g < 00,则 （ 15) 式右 

侧的级数均方 收敛， 并且 ^ 

R{n)= ^h iXkn - ( 16 ) 

fc= —OC 

引进函数 

^fc* ( 17 ) 

{/c:Afc^A} 
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那么，协方差函数 （16) 可以写成勒贝格〜斯蒂尔切斯积分的形式 



e lAn dF ( A ) 




e iAn dF(A) 


l-7T ， 7r) 


( 18 ) 


平稳序列 （ 15) 是由“谐波” 之和构成，其“频率”为&，而其随机“振幅” q 的 

“强度”为4 = E |^| 2 . 这样，函数值 F ( X ) 关于序列€的“谱”的结构，即关于构成 
表现 （ 15) 式之各种不同频率的强度值，提供全面的信息.根据 （ 18) 式，函数 F(A) 的 


值亦完全决定协方差函数 R ( n ) 的构造. 

精确到常数因子，（非退化）函数 F ( X ) 显然是分布函数，并且在该例中函数 F ( X ) 


是阶梯函数.特别值得注意的是，任意弱平稳序列的协方差函数可以表示为 （18) 式 


(见第 3 小节的定理)，其中 F(A) (精确到规范因子）是分布函数，其承载子，集中在 
区间丨- 7 T ，7 T ) 上，即 


^( A ) = 


{n 兀 -)， 

U 


若入 > 7 T ， 

若 1 A <C — 7 T . 


由 （ 15) 和 （ 16) 两式形成的、协方差函数 R ( n ) 的积分表示结果，使我们产生一 
种 想法： 任意平稳序列都可以用“积分”表示.实际上也正是这样，在 §3 利用按正交 
测度的随机积分将要证明这一点. 


例3白噪声设 e = ( e „) 是正交规范随机变量序列， E 、 = = Sij , % 

中心是克罗内克符号.显然 e = ( 〜）是平稳序列，其协方差函数为 


R ( n ) = 



若 n = 0, 
若 n 一 0. 


注意，函数 R ( n ) 可以表示为 


R ( n )= ^ e an dF ( A ), (19) 

J — 7T 

其中 A 

F ( X ) = J f ( v ) dv , /( 入） = ‘ -7 T 彡 A < tt . (20) 

比较“谱”函数 （17) 和 （20) 式可见，如果例2中的“谱”是离散的，则在例3中 
它是绝对连续的并有常数的谱密度 /( A ) 三 1/2 tt . 实际上可以说，序列 e =(“）“由 
具有同一强度的振动构成”.正是因为这个原因，与由同一强度的不同色调形成的物 
理“白噪声”类似,才把 e =⑹称做“白噪声”. 

例4 移动平均序列由例3引进的白噪声 e =( 〜）出发，组成新的序列 





( 21 ) 


其中叫是复数，满足£ |a fc | 2 < oo. 


由 （ 21) 式，可见 


. 协方差函数的谱表示 
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COv(^ n ^_ m? ^ m ) = COv(^ n , ^o)— 〉二 ®n+Ar^/c? 


因此 € =( 心）是平稳序列，习惯上称做由序列£ = (^)形成的 （双 側） 移动平均序 
列. 

特别，当所有带负下标的&都等于0时， BP 

oo 

= > : ^k^n-ky 
k=0 

^ = Un ) 称做 单倒移动平均 序列. 与此同时，若对于一切 k > p y a k =0 1 即如果 

Cn = 00^1 十 a l^n-l + • . • + Clp^n-pj (22) 


则《= ( 心）称做 p 阶移 动平均 序列. 

可以证明（练习题 3 )， 对于序列 （ 22 )， 其协方差函数 R ( n ) 为 


離) 



tAn 


/( A ) dA , 


其中谱密度 /( A ) 为 


/( A ) = ^| P ( e - iA )| 2 , 


(23) 


且 


P ( z ) = a 0 + a\Z H - + a p z 


例 5 自回归概型设 e =心）是白噪声.称随机变量序列€ =( 心）属于 9 阶 


自回归概型， 如果对于 n e Z , 有 


《n + + …+ bq ^ n-q — ^ n - 


(24) 


问当系数 b u ".， b q 满足何条件时，方程 （ 24) 有平稳解？为回答所提问题，首先 
考虑 g = 1的情形： 


Cn = 1 ^ni (25) 

其中 a = -6:. 如果 | a | < 1，则不难验证，平稳序列 f = (4 n ): 

in = y^Q^gn-j ( 26 ) 

j =0 

是方程 （ 25) 的解.（式 （ 26) 右侧的级数在均方意义下收敛 .） 现在证明，在具有有限 
二阶矩的平稳随机变量序列类中，是唯一解.事实上，由 （ 25) 式依次叠代，得 


(26) 


k 


£,n — <^n-l + = Ck[«^n-2 + ^n-l] + £ n 


Oc k ^ n-k -f 

i=o 
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当 A ; — oc 时，由此得 


E 心一 = E[a fc Cn-fc] 2 = a ， 2k E^ k = a 2k E^ 0. 

J =0 

■ 龜 

从而，当 | a | < 1 时方程 （25) 的平稳解存在，且表示为 （26) 式的单侧移动平均的形 
式. 

对于任意 (? > 1的情形，有类似的 结果： 假如多项式 


Q (2) = 1 + + . •. + bqZ ^ (27) 

的一切0点都位于单位圆之外，则自回归方程有解，而且有可表示为单侧移动平均 
的形式 （24) 的唯一平稳解（练习题 2). 这时，协方差函数 R ( n ) 可以表示为（练习题 

3)： ^ ^ 

R ( n )= f e iAn dF ( A ), F ( A ) = f f ( v ) dv , (28) 


其中 


特别，对于 7 = 1 的情形，由 （ 25) 式容易得到： E《 0 = 0 


_ 2 =厂]^， ♦) 


a 


碑’ 


n ^ 0 


(对于 n < 0, Jl ( n ) = i ? (一 n )). 这时 


(29) 


f ( X ) = — X - rr-^* 

} 2?r |1 - ae- tA | 2 

例 6 这个例子表明，在水文学中建立概率模型时产生自回归概型.考虑某水 
域（例如，里海)，并设法建立描绘，由于径流和水表面的蒸发产生的振动，引起的水 
平面对平均水平之偏差的概率模型. 

假如以年做计量单位，以 i / n 表示第 n 年水域的“水平”，则可得如下平衡 方程: 

= H n — KS ( H n ) + E. n+1 , (30) 


其中以 E . n+1 表示第 (n + 1) 年的径流量，以 S ( H ) 表示在水平为//时水域的表面 
积，而 K 是蒸发系数. 

以。 = Hn _ Ji 表示对平均 水平頁 的偏差（亙是根据多年的观 测结果 估计得 
来的)，假设 S ( H ) = S ( H ) + c(H - H ). 由平衡方程（30)，可见随机变量满足 方程： 


^n+l = + ^n-\-l > 


(31) 


. 协方差函数的谱表示 


其中 a = 1 - c K ' e n = E n - KS ( H ). 自然应认为随机变董的均值为0,并且作 
为初始逼近，认为伶。}是不相关和同分布的.那么，如同例5中曾证明的那样，（当 
M < 1时）方程 （31) 有唯一平稳解，应该将其视为所观测池中（历年）形成的水平 
面振动的状态. 

作为可以由（理论）模型 （31) 得到的实际推论，我们指出根据今年和往年的 
观测结果，预测来年水面的水平的可能性.结果恰好表明（见下面§6的例 2), 
由… ^ n - l ^ n 的值对量的最优均方线性估计，就是 

例7自回归和移动平均的混合模型如果在方程 （24) 的右侧将^换成 aoe n + 

则得所谓 ( p . q ) 阶自回归和移动平均的混合 模型： 

Cn + fel^n-1 + …+ bqh = n + a \^ n -\ + • • • + «p^n-p- (32) 


在与例 5 相同的假设条件下，关于多项式 Q ⑷的0点，下面将要证明 （§3 中定理3 
的系2)，方程 （32) 有平稳解《= (&), 其协方差函 数为： 

R ( n )= 「 e lAn dF(A), F(A) = f f ( v ) dv , 

•/ — 7f J — 7T 

其中 2 

1 P(^ iX ) 

朋 = i x - 

3. 赫尔格洛茨定理 

定理（赫尔格洛茨 [G. Herglotz]) 设 R ( n ) 是均值为0的（弱）平稳随机序列 
的协方差函数_則在（[- ITT), 义 ([-7r，7r )) 上存在一有限测度 F = F ( B),B € 
义([- ATT))， 使对于任何 n € Z， 有 

R ( n )= f e iAn F(dA), (33) 

J — 7T 

其中的积分 /_\e iAn F(dA ) 是集合[- 7 T ，7 T ) 上的勒贝格-斯蒂尔切斯积分. 

证明对于 7 V 彡 l ， Ae [—7 T ,7 T ]， 设 


N N 


MX) 


2 nN 




(34) 


k=l l 


由于 R ( n ) 的非负定性，可见 f N ( X ) 是非负函数.由于对于 k-h， 数偶(/:，/)的 
个数等于 TV - |m|， 则 




R { m ) e ^ imX . 


(35) 


设 


F n ( D ) = / f N ( X ) d\ y B€JP([-7r,7r)), 

JB 
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则 



e iXn F iW ( d \) = 




若 | n | < TV , 
若 | n | > TV . 


(36) 


测度 F n 、 N 彡1， 集中在区间[- 7 r , 7 rj 上， 且对于任 何汊彡 l , F N [- 7 r , 7 r ] = R (0)< 
00 . 从而，测度 F n ， N 彡1， 的族完备.可见根 据普罗霍罗夫 （ K ). B . ripoxopoB ) 定 
理（第三章§2定理1)，存在数列 { N k } C { TV } 和测度 F ， 使二 F . (密度、相 
对列紧性、弱收敛等概念，以及普罗霍罗夫定理，显然可以由概率测度移植到任何 
有限测度). 

那么，由 （36) 式可见 



iAn F ( dA ) = lim 

Nk—^oo 



e iXn F Nk ( d \) = R { n ). 


所建立的测度 F 集中在区间[- 7 T ，7 r ] 上.在不改变积分 y " e iXn F ( d \) 的情况下，把 

集中在点 tt 上的“质童” F ({ tt }) 移到点 -7 T 上，可以重新; T 义测度 R 这样得到的新 
测度（仍记为 F ) 就己经集中在区间[- 7 T ，7 r ) 上. （关于恰好是在区间[- 7 T ，7 r ) 上，而不 
是在区间[- 7 T ,7 rj 上.选择 A 值的合理性，见第2小节的例 1.) □ 

注1表达式 （33) 中的测度 F = F ( B )， 称做协方差函數为 R ( n ) 的平稳序列 
的谱测度，而 F ( X ) = F ([- tt , A ]) 称做谱函数. 

在上面的例2中，谱测度是离散的（集中在点 、, fc = 0, 土1， • • •) •在例3〜6中 
谱测度是绝对连续的. 

注2谱测度 F 由协方差函数唯一决定.事实上，设 K 和 F 2 是两个谱测度， 

且 x 冗 

「 e an F !( dA )= f e iXn F 2 ( d \), n G Z . 

i/_7T •/ — TT 

由于任何有界连续函数 9( A ), 可以在区间[- 7 T ，7 T ) 上由三角多项式逼近，则 

r 9( X ) F l ( dX )= r 9( X ) F 2 ( dX ), 

•/一 7T %/一 TT 


由此可见（对照第二章§12定理 2 的证明)，对于任何 B = 

f 2 (b). 

注3如果《= ( 心）是由实随 机变量 G 构成的平稳序列，则 R ( n ) = Ri - n ), 

因而 

R(n)= R{n) - = f" cosAnF(dA). 

2 J — 7f 



§2. 正交随机测度和随机积分 
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4. 练习题 

1•由 (11) 式导出 (12) 式. 

2. 证明，如果 （27) 式的多项式 Q ( z ) 的一切0点都位于单位圆之外，则自回归 
方程 （24) 有且唯一表示为单侧移动平均的平 稳解. 

3. 证明序列 （22) 和 （24) 的谱函数有密度，且分别表示为公式 （23) 和 (29). 

4. 证明，如果 g |/?( n )| 2 < oo , 则谱函数 F ( A ) 有密度 /( A )， 且由如下 公式： 

n= —oc 

/( A ) = 士 £ e-w 離） 

n= —c» 

表示，其中级数在复空间 L 2 = L 2 ([- 7 T ,7 r )， 义([- 7 T ，7 T )， A )) 中收敛，而 A 是勒贝格测 
度. 

§2. 正交随机测度和随机积分 

1. 扩充积分槪念的必要性在§1中已经讨论了协方差函数的积分表示，并举 
出了具有两两正交随机变量 z k , keZ 的平稳序列 

£ 狀…' ⑴ 

A：= —oo 

的例.因此，使我们产生一种 想法： 是否可以将任意平稳序列表示为，和式 （1) 之相 
应积分推广的形式. 

假如设 

Z ( X )= Y , 办， （ 2 ) 

{ k : z k ^ X } 

则⑴式可以写为 

OO 

J 2 e iAfen AZ ( A fc ), (3) 

k=_oo 

其中 AZ ( X k ) = Z ( Afc ) - Z ( X k -) = z k . 

式 （3) 的右侧是“勒贝格一斯蒂尔切斯积分” 

厂 e iAn dZ ( A ) 

J — 7T 

# 

的积分和.然而，对于现在所考虑的情形，函数 Z ( X ) 也是（依赖于0的）随机变量. 
在这种情形下，为说清楚任意平稳序列的积分表示，不得不也考虑这样的函数 ^( A )： 
对于每一个4 Z ( X ) 有无界 变差.因 此对于每一个 心简单地把上述积分理解为黎 
曼一斯蒂尔切斯积分是不可行的. 
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2. 随机测度与勒贝格积分，勒贝格一斯蒂尔切斯积分以及黎曼一斯蒂尔切 
斯积分的一般概念类似（第二章§(3)从定义随机测度开始讨论我们所感兴趣的情形. 

设 (12, J ^, P ) 是概率空间，£是某一集合，是集合 E 子集的代数，而界= 
W & O 是 a - 代数. 

定义1 对于 a ; € D 和 △ €篆0,定义的复数值函数 Z ( A ) = Z ( o ;, A ) t 称做有 
限-可加随机测度，如果 

1) 对于任意 △ € ^ 0 , E | Z ( A )| 2 < oo ; 

2) 对于中任意两个不相交集合 Ai 和 

Z ( A , + A 2 ) = Z(AO + Z ( A 2 ) (P - a . c .). (4) 

定义 2 有限一可加随机测度 Z ( A ), 称做初等随机测度，如果对于度0中任 
意两两不相交集合 △ i , A 2，..*， 其中 A = Ai -f A 2 4- • • • € ^oi W 

n 2 

E Z ( A ) -^ Z ( Afc ) —0 ，w — oo . (5) 

k=l 

注 1 在皮 a 的集合上的初等随机测度的定义中，假设随机测度的值属于希尔 
伯特空间丑 2 = H 2 ( Q ^. P ), 而该测度在 （5) 式的均方意义上是可数可 加的. 尚存 
在随机测度的其他定义，在这些定义中不要求存在二阶矩，而且也不要求测度在（ 5 ) 
式的均方意义上可数-可加性，例如要求在依概率收敛或以概率1收敛的意义上可 
数一可加. 

注2与非随机测度的情形类似，可以 证明： 对于 有限一 可加随机测度，“在 
(5) 式的均方意义上的可数可加性”，等价于“在均方意义上在 ‘0’ 的连续 性”： 

E | Z ( A n )| 2 — 0， A n [0. A n G ^ 0 . (6) 

在初等随机测度类中，按下面定义的正交测度特别重要. 

定义3 初等随机测度/(△),△€%,称做正交測度（或具有正交值的测度), 
如果对于篆0中任意两个不相交集合和 A 2 , 有 

EZ(A 1 )Z{A2)=0, ⑺ 

或者等价地.如果对于中任意两个集合和 A 2 , 有 

EZ ( Ai ) Z ( A ^ = E | Z ( A , n A 2 )| 2 . ⑻ 

记 

m ( A ) = E | Z ( A ) l 2 , A 6^ 0 . ⑼ 

易见，对于初等正交随机测度，集函数 m = m ( A ), A 6^ o ? 是有限测度，从而根据卡 
拉泰奥多里 （ C . Caratheodory ) 定理（第二章§3 ), m ( A ) 可以延拓到（五，家）上.这样， 


. 正交随机测度和随机积分 


• 59 • 


得到的测度仍然记作 m = m ( A ) t 并称之为（初等正交随机测度 Z = Z ( A)，A e %, 
的） 构造函數 . 

现在自然产生如下 问题： 既然定义在 ( E ^ 0 ) 上的集函数 m = m(A) 可以延拓到 
( E ^) 上，其中# = a(gr 0 ), 那么是否可以将初等正交随 机测度 Z = Z(A),Ae^ 0 , 
延拓到集合 △ € $上，并且使 m(A) = E|Z(A)| 2 ,A€^. 

对该问题的回答是肯定的，这可以由下面的构造证明.与此同时由这一构造还 
可以建立，平稳序列的积分表现所需要的随机积分. 

3. 随 机积分 设 Z = Z ( A ), A €.^ o 是初等正交随机测度，而 m = m ( A),Ae 
是其构造函数.对于每一个只有有限个不同（复数）值的函数 

/( A ) = ^ A / a ,( A ), A , e (10) 

定义随机变量 

，⑺ = !> Z (△幻 . 

设 L 2 = L 2 ( E ^, m ) 是希尔伯特复数值函数的空间，其数积为 

(/> 9)^ I /( A )^ A ) m ( dA ), 

JE 

且范数为 ll/ll =〈/，/〉 1/2 ,而// 2 = H 2 ( a ，’ p ) 是希尔伯特复随机变量的空间，相 
应的数积为 

(€，”) = E ^i 

范数为則=〈^> 1/2 . 

那么，显然对于任意两个形如 （10) 式的函数/ 和仏有 

且 

ll ^(/) H 2 = ll / ll 2 = / |/( A )| 2 m ( dA ). 

JE 

现在设/ e L 2 , 而 {/ n } 是形如 （10) 式的函数，满足11/ - /nil — 0 ，n — 00 (见 
练习题 2). 那么当 n，m — oo 时，有 

| l ^(/ n )-^(/ m )|| = ||/ n -/ m ||-0. 

从而，序列 {^(/ n )} 在均方意义上是基本的，而由第二章§10的定理7,可见存在随 
机变量（记作义(/))，满足义 (/) e 胪且当 n — OG 时 ||^(/ n ) - ^(/)||-0. . 

这样建立的随机变量义(/)(精确到随机等价性）唯一，而且与逼近序列 {/n} 的 
选择无关.自然把 y { n 称做函数/ € L 2 为关于初等正交随机测度 Z 的随机积分， 
并且为了直观（与 yu ) 同时）使用 “ 积分”记号： 

/ /( A ) Z ( dA ). 
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现在指出随机积分 y (/) 的下列性质，这些性质可以直接由其构造得出.设函 
数 A /，/ nei 2 , 那么 

(义 (/) 為)) = </，叭 (11) 

11^(/)11 = 11/11, (12) 

y ? (af + bg)= 0 ^(/)^ b^(g) (P - a.c.), (13) 

其中 a 和 6 是 常数； 若当 n — oo 时 ， ||/„ - /|| — 0,则 

ll ^(/ n )-^(/) l |-0. (14) 

4. 随机测度的延拓将上面定义的随机积分，用于初等正交测度”△)，△€ 
故0,到罗= a ( Sr 0 ) 中集合的延拓_ 

由于假设测度 m 是有限的，则对于任意€篆0,函数 /△ =込 ㈧ e L 2 •记 
Z ( A ) =义 (/△)• 显然，对于 △ €家0,有 Z ( A ) = Z ( A ) •由 （13) 式可见，如果 

△ 1 门么2 = 0, Ai , A2 e 篆，则 

Z(Ai ■♦- A- 2 ) = Z(Ai) -h Z(A 2 ) (P — a.c .)， 

而由 （12) 式，得 〜 

E|Z(A)| 2 = m(A), Ae^. 

现在证明，集合 Z ( A ) y Ae ^. 的随机函数，是在均方意义上可数可 加的. 事实 
上，设4 e 爹， △ = E △*，则 

k—l 

n 

Z ( A )-^ Z ( A fc )=^ n ), 

k=l 

其中 

n oo 

^ n ( A ) = / A ( A )-^/ A fc ( A ) = / E ( A ), E = X ； △,. 

k=l fc = n+l 

但是 oo 

E|^(^n)| 2 = ll^nll 2 = m f ^2 ) 1 °> n —oo ， 

\ fc = n+l / 

即 ~ 、 2 

E 2(A) — > : Z (A^：) ► 0, ti ― ► oo. 

k=l 

由 （ li ) 式可见，对于 a x c \ a 2 s 有 

EZ(A!)Z(A 2 ) =o. 
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这样所建立定义在集合 △ € $上的随机函数 Z ( A ), 是在均方意义上可数可加 
的，并且在集合 △ e %上等于 Z ( A ). 我们称 Z ( A ), Ae ^ (作为初等正交随机测 
度 Z ( A ) 的延拓）是以 m ( A ), Ae ^, 为构造函数的正交随机測度，而上面定义的积 
分/ /( A ) Z ( dA ) 称做关于该测度的随机积分. 

JE 

5. 正交增量随机过程现在考虑对我们的目的最重要的情形，即（五，箩）= 
( R ， j ( R )) 的情形 • 由第二章§3定理1知，空间（艮 J ( R )) 上的任何有限测度 

m = m ( A ), 都与某一（广义）分布函数 G = G ( x ) 相互-对应，并且 m ( a , b ] = 

G ( fc ) - G ( a ). 

结果表明，对于正交测度有同样的情形.下面引进正交增量随机过程的概念. 
定义4 概率空间 （ Q ，，， P ) 上（复数值）随机变量 { Z a }, AgR , 的全体，称做 

正交增量随机过程，如果 

1) E|Za| 2 < oc, A € R; 

2) 对于每一个 A € 

E | Za — Z \ n \ 2 —► 0, A n I A , A n € R ; 

3) 对于任意 \ < A 2 < A 3 < A 4 , 

E ( Z A 4 - Z A 3 )( Z A 2 - Z Ai ) = 0. 

条件 3) 是增量的 正交性条件. 条件 1) 表示 Z A e 丑 2 . 最后，条件 2) 具有技术 
的特点，表示要求在每一点 AgR (在均方意义上）上 是右连续的. 

设 Z = Z ( A ) 是以 m = m ( A ) 为构造函数的正交随机测度，是（广义）分布函数 
为 G = G ( A ) 的有限测度•记 

Z \ = Z (— oo ^ A ]. 

那么， E | Z a | 2 = m (- oo,Aj = G (\) < oo , E | Z a - Z An | 2 = m ( A n , A ] 丄0，\丄 A ， 并且条 
件 （3) 显然也成立.因此，所建立的过程 Z ( A ) 是正 交增量 过程. 

另一方面，如果 G = G (\) 是广义分布函数，且 G (- oo ) = 0, G (+ oc ) < oo ; 而 
{ Z x } 是正交增童过程，且 E | Z a | 2 = G ( A ), 则对于 △ e ( M ], 设 

Z ( A ) = Zf , — Z a . 

设篆。 是形如 △ = f ： 的集合产生的 代数; 而 Z ( A ) = t Z ( a k , b k \. 显然 

k=l k=l 


E|Z(A)| 2 = m(A), 


其中 m(A) = 5Z — G(a/b)], 而对于不相交区间 Ai = (ai,6i] 和 〜 = ( 勿， &2 ]， 

fc=l 

有 


EZ(A!)Z(A 2 ) =0. 
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因为函数 G ( A),A G IR , 右连续，故由此可见 Z = Z ( A),A 是具有正交值 
的初等随机测度.集函数 m = m ( A ), A 6^ 0 , 唯一地延拓到$ =义 ( R ) 上的测度， 
而由前面的构造可见，那么 Z = Z ( A) y A e 也可以延拓到 △ €豕=义 ( R ). 这 
时，有 

E | Z ( A )| 2 = m ( A ), A G J &{ R ). 

设 { Z a }, A € R , 是正交增量过程， E | Z a | 2 = G ( X ), G (- oo ) = 0， G (+ oc ) < oc ; 而 
Z = Z ( A ), Ae 义 ( R )， 是构造函数为 m = 771( A ) 的正交随机测度，那么，由以上的论 
述可见，在 { Z A } 与 m = m ( A ) 之间存在一一对应关系，使 

Z \ = Z (- oo , A ], G ( A ) = m (- oo , A ] 

和 

Z ( a y b ) = Zf , — Z ay m ( a y b ] = G ( b ) — G ( a ), 

根据在勒贝格一斯蒂尔切斯和黎曼一斯蒂尔切斯积分理论（第二章§6第9和第 
11小节）中通用的记号，对于某一正交增量随机过程 { Z A }， 把随机积分 f H f ( X ) dZ x 
理解为与该过程 { Zx } 相对应的、正交随机测度的随机积分 f R f ( X ) Z ( d \). 

6. 练习题 

1. 证明条件 （5) 和 （6) 等价. 

2. 设函数/ € L 2 . 利用第二章的结果（第二章，§4的定理1, §6定理3的系以及 
§3的练习题 8), 证明存在形如 （10) 式的函数序列 {/„}, 使 ||/n 一 /II — 0 ,n — oo . 

3. 设 Z ( A ) 是以 m ( A ) 为构造函数的正交随机测度，证明下列性质 •• 

E | Z ( A 0- 2(么 2 )卩= m ( A i AA 2 ) 1 
Z(Ai \ A 2 ) = Z ( A X ) - Z ( AiDA 2 ) (P — a . c .), 

Z ( AiAA 2 ) = Z ( Ai)-f Z ( A 2 ) - 2 Z ( Aif | A 2 ) (P - a . c .). 

§3 •弱（广义）平稳序列的谱表示 

1. 平稳随机序列谱表示设€ = (《 n ) 是平稳随机序列， E 匕= 0 ，n e Z ， 则根据 
§1的定理存在 （[-7 T ，7 r )， j ([- 7 r ，7 T ))) 上的有限测度，使协方差函数 i ?( n ) = cov (^ +n , 

00有如下表现： 貫 

R ( n )= f e iAn F ( dA ). (1) 

J — 7T 

下面的结果给出了序列 （=(《 n ),n e Z ， 的相应 谱表示 • 

定理 1 存在正交随机測度 Z = Z ( A),A e 义 ([-7 r ,7 r ))， 使对于每一个 n G Z , 
以概率1,有 

& =厂 c iXn Z ( d \) (= / e iXn Z ( d \) 

J-iT V 


(2) 
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这时 EZ ( A ) - 0， E | Z ( A)p = F ( A ). 

证明利用希尔伯特空间的有关结果，进行证明最为简单. 

设 L 2 { F ) = L 2 ( E ^ y F ) 是复值函数的希尔伯特空间 ， E = [— ITT )， = 
j (卜其中定义了内积 

(/, 9) = f f ( X )7( X ) F ( d\) y (3) 

J — 7T 

而 Ll { F ){ Ll ( F ) C L 2 ( F )) 是由 〜= : e ( X ) y iieZ , 生成的线性流形,其中 e n ( A ) = e lAn . 

易见，由于 E =【- 7 T ,7 T ), 而测度 F 有限、可见流形 Ll ( F ) 的闭包与 L 2 ( F ) 相等 
(练习题 1): . 

lW ) = 卽). 

其次，设 Lg ⑹是由随机变童 Cn , n 6 Z , 生成的线性流形，而 L 2 (0(=_) 是 
(关于测度 P 的）闭包 • 

我们现在建立随机元 坞⑻与 LKO 之间 一一 对应％”关系，设 

e n ㈠ 心 ， n € Z ， （4) 

并且对于任意随机元（确切地说，对于任意等价随机元类)，按线性关系补充广义为 

> (5) 

(这里假设只有有限个复数不为 0). 

注意，对应关系 （5) 式在如下意义上是适定的：对于测度 F 几乎所有 E « ne „ - 
0,当且 仅当， 对于测度 P 几乎必然 E = 0. 

这样定义的对 应关系 “ ㈠ ”， 称做等距的，即保持内积不 变的. 事实上，由⑶式， 
有 

(e n ， e m ) = 「 e n (A)^(A)F(dA) = e”)F(<U) 

J — ir •/一 7 r 

= R(n 一 m) = E^n^m = (6i ，《 m )， 

而且类似地有 

〈51 a n e n ，/^ nen ) = • ⑹ 

现在设 rp L 2 ⑹.由于 L 2 (0 = Z |(0, 则存在随机变量序列 （ r ? n ), 使如 e ^ o (0 
和 ||?M 一 训 — 0 ， n — oo . 从而 ㈨ ）是基本随机变量序列，说明函数 （/ n ) 也是基本 
随机变童序列，其中 /n € Ll ( F ) 且 / n ㈠ TM. 由于空间 L \ F ) 是完备的，因而存在 
函数 / € L 2 ( F )， 使 ||/ n - /II -> 0 ，n — c ». 

显然相反的结果也成立:如果/ € i 2 (n 且 ll/n - /II 一 0 ，/n € i§(n 则存在 
这样的元素 r ; e L 2 (0, ^ r 1n € 砧⑹和 hn - 7/11 — 0 ，n — 00 且 7 ? n ㈠ /„• 
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至此，（等距）对应关系 “H”， 暂时仅在坞⑹和 Ll(F) 元素之间得以证明.根 
据连续性，将此对应关系补充 定义： 设 — /，其中/和 r? 是上面所考虑的元素.不 
难验证，所建立的对应关系是（等价随机变 M 类与函数类之间的）线性的和保持内积 
不变的 对应关系. 

考虑函数 /(A) = / a (A), 其中 △ € ^([-7r,7r)),A € [一 7r，7r)， 并设 Z(A) e L 2 ⑹ 
是满足 / a (A) ^ Z(A) 的元素.显然 ||/ a (A)|| 2 = F(A), 因而 E|Z(A)| 2 = F(A). 由 
于 E 心= 0，n e Z, 故对于每一个元素 L 2 0 (0 (从而，对于 L 2 (0), 其数学期望等于 0. 
特另 ij EZ(A) - 0. 此夕卜，如果 Ai 门么 2 = 0，贝 IJ EZ(Ax)Z(A^) = 0且 


E 


w mr 

Z ( A )- Y ^ Z ( A k ) 


k 


2 


― ► 


0， n —> oo 



其中 A = Ai + A2 + … • 

这样，元素的全体 Z = Z ( A ), Ae ^([-7 r ,7 r )) 本身是正交随机测度，因此（由于 
§2) 由该测度可以定义随机积分 

^(/) = r /( A ) Z ( dA ), fe L 2 ( F ). 

•/ 一 7T 

设 / e L 2 ( F ) 和 r ; ^ /. 以軻 /) 表示元素 r ; (确切地说，在每一等价随机变量类 
与函数类中，选一个元素作为代表).现在证明，以概率1，有 

^(/)=巾 (/)• ⑺ 

事实上，如果 

/ ㈧ = △，㈧ ⑻ 

是函数 JA fc ( A )， A fc = (^，心】，的有限线性组合，则根据随机积分的定义，显然 y (/) == 
E ^ kZ ( A k ) 等于少 (/). 因此对于函数 （8), (7) 式 成立. 但是，如果/ € L 2 ⑻且 
||/n - /II — 0,其中 / n 是形如 （8) 式的函数，则 | 陳 n ) - 企(/)|卜0,而根据§2的 
(14) 式||义(/„) -，(/)|卜 0. 从而，以概率1有 $(/)= ，⑺ • 

取函数 /( A ) = e tAn , 则由⑷式可见 ^ iXn ) = ^ n ； 另一方面，义 (/) = 
/( A ) Z ( dA ). 于是，由 （7) 式可见，以概率1，有 

匕 =厂 e an Z ( dA )， neZ . □ 

系1设 < = (&) 是平穗随机序列，由实值随机变量心， n € Z 构成. 那么，谱 
表达式 （2) 中的随机測度 Z = 具有如下性质：对于任何义 ([-7 T ，7 T )), 


其中集合一 A = { A : 


Z ( A ) = Z (—△)， 


⑼ 
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事实上，设 /( A ) = 和 r / = (两个和式都是有限的).那么， 

f ㈠ T ]、 因此 

^ Y ,^ e，Afc = 7( - A ). (10) 

由于 IaW ^ Z ( A )， 则由 （10) 式，可见 / a (- A ) ^ Z(A) (或等价地 /. a ( A ) 4-, Z(A)). 
另一方面，因为 /. a (A)^ Z(~A ), 所以 Z(A) = Z(-A)(P - ax.). 

系 2 设 < = ( 心）是平稳随机序列，其中 Q 是实值随机变量.而 Z(A) = 々(△)+ 

tZ 2 ( A ). 那么，对于任意 AhAd j ([-7 T ，7 T ))， 有 

E ^ i ( Ai ) Z 2( A 2 ) = 0^ (11) 

并且，如果 和（- △ 1 ) f ! A 2 = 0， 则 

E^i(Ai)Zi(A2) = 0, EZ 2 (Ai)Z2(A 2 ) = 0. (12) 

事实上，由于 Z(A)= 可^1，则 

2i(—A) = Z“A)， 么(- △) = -&(△)• (13) 

其次，因为 EZ(A l )Z[A^) = E|Z(A 1 f|A 2 )| 2 , 

ImEZ ( A !) Z ( A ^) = 0, 


即 


EZi(Ai )之2(八2) — EZ2( Ai ) Zi (A2) = 0. 


将换成区间 - Ai ， 则得 


(14) 


EZ^ —Ai)Z2(A2) — EZ2( —Ai)Zi(A2) = 0 T 
故由于 （13) 式，由此得 


EZi ( Ai )Z2(A2) 4- EZ2( Ai ) Zi (A2) = 0. (15) 

由 （14) 和 （15) 式得等式 (11). • 

如果= 0 和（一△。门“ =0，贝 IJ EZ ( Ax ) Z ( A^) = 0. 因此 
R€EZ(A0Z(A^ = 0和 ReEZi-A^ZiA^) = 0. 于是，连同 （13) 式就证明了等 
式 (12). 

系3设《=(匕）是高斯序列.那么，对于任意 Ai ，…，^,向量 （ZHAi),...， 
Zi(A fc );Z 2 (A 1 ),... ,Z 2 (A fc )) 服从高斯（正态）分布. 

事实上，由（复数值）高斯随机变量 r/, 即由服从高斯分布的向童 （Ite r/，Im r ; ) 生 
成的线性流形 Lg ⑹，服从高斯分布.那么，根据第二章§13第5小节，可见 L 2 0 (0 
的闭包_也由高斯随机变量构成.因此由系2知，对于髙斯序列《= (60, 
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实部々和虚部 Z 2 在如下意义上 独立： 任意随机变量组和 
%(△,)，… , Z 2 ( A ^)) 相互独立•由 （12) 知，对于满足 A . flA , = (一= 
0， i，j = 1 ，…， M 一 j ， 的集合〜，…， Afc ， 随机变量石 ㈤ ，… y Zi ( A k )(i = 1,2) 
全体独立. 

系4设 < = ( 心）是平稳实值随机变量序列，则以概率1 






cos AnZi(dA) - / sin XnZzidX). 


(16) 


注如果 {Z A },A€ [- 7 T ，7 T ) 是对应于正交 陣机测度 Z = Z(A) 的正交增 量随机 
过程，则谱表示 （2) (根据 §2) 可以表示为如下_ 式： 

U = f e iXn dZ X) nez . (17) 

4 /一 7T 


2. 由平稳序列经线性变换得到的随机变量的构造设《=(^)是具有谱分解 

(2) 的平稳序列，而 r; 6 L 2 (0 . 下面的定理描绘这样随机变量 r/ 的构造. 

定理2 如果77 € L 2 ⑹，则存在函数 L 2 ( F )， 使以概率1，有 


证明如果 


则由于 （2) 式，有 


7/ = / ( p ( A ) Z ( dA ). 

J — 7T 

= ^2 af ^ k 、 


Y . akefXn 2 ( dA )， 

J ~ n Wn J 


(18) 


(19) 


( 20 ) 


即对于函数 




( 21 ) 


(18) 式成立.在一般情形下，如果 r/ € LK 0, 则存在形如 （19) 式的随机变量 tm ， 使 

\\V-VnW — 0 ，n — 00. 那么 ， ||^n -^ m || = hn - Vm\\ — 0 , n，m - MX ), 即序列 （ pn ) 在 

L 2 { F ) 中是基本序列.因此，存在函数 v? € L 2 (F ), 使& 一 — 0，n — > oc. 

根据§2的 （14) 式 \\^( ip n ) - 义⑼ || — 0,而因为％ =，⑷，所以以概率1， 
有 r/ = ^ ⑼. □ 

注设 Ho ⑹和 H 0 ( F ) 是相应为变量 f = (Cn)n^o 和函数 e G = (e n ) n ^o 封闭 
线性流形.那么，如果/? € 蘭)， 则存在这样一个函数 H 0 ( F ) y 使以概率1，有 
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3. 线性滤波器公式 （18) 描绘经线性变换，由 ^ nez 得到的随机变景，即 
可以表示为形如 （19) 的随机变量及其均方极限的构造. 

利用所谓（线性） 滤波器 表示的线性变换类，是特殊然而重要的线性变换类.假 
设在某系统（滤波器）入口于时刻 m 出现信号 . r m ， 而这时系统对该信号的反 映是: 
在其出口于时刻 n 收到信号 h ( n - m ) x m , 其中 h ( s),s € Z , 是某一复数值函数，称为 
(滤波器的） 脉冲转移函数. 

这样,在系统输出的和信号如可以表示为： 

OC 

Vn= Y] h(n - rn ) x m . - (22) 


对于 物理可实现的 系统，输出信号的值只由“过去”的值决定，即由 x m {rn ^ n ) 
值决定.如果对于一切 s < 0有/“幻= 0,或如果 

OC OC 

Vn= ^2 h ^ U ~ fl ( 7n ) x ri-m, (23) 

m= — cx> m=0 

则自然称脉冲转移函数为 h = h ( s ) 的滤波器是物 理可实现的. 

称为滤波器的 頻率特 征的、脉冲转移函数/ I 的傅里叶变换 

oo 

心 ）= E e- 如 "(m), (24) 


是以 h 为脉冲转移函数的滤波器的重要谱特征. 

现在考虑关于 （22) 和 （24) 式中级数的收敛条件.这些条件到目前为止尚未得 
到说明。假设在滤波器的入口发送具有协方差函数为 R ( n ) 和谱分解 （2) 的、平稳 
随机序列 h ( s ), seZ . 那么，如果 

OC 

^2 h ( k ) R(l - k ) h { l ) < oo , (25) 

人 '/ = —OO 
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从而,序列//的协方差函数 R v ( n ) 由如下公式确定: 


/^( n ) 



i \ 


-|^( A )| 2 F ( dA ) < 


特别，如果在频率特征为 p = ^( A ) 的滤波器入口传送白噪声 
将收到平稳移动均值序列： 


(29) 

( e n \ 则在其出口 


rin = ^2 h ( m ) e n 


(30) 


其谱密度为 


/,(A) = -k(A)| 2 . 


下面的定理在一定意义上说明，任何有谱密度的平稳序列可以由移动均值得到. 

定理3 设 r / = ( r / n ) 是谱密度为 f n (\) 的平稳序列，则存在这样的白噪声序列 
s = { e n ) 和这样的滤波器（必要时扩充原概率空间)，使表达式 （30) 成立. 

证明由给定的（非负）函数 /〃( A )， 存在这样的函数 p ( A )， 使 八 ( A ) = 

•由于 


/^( A)dA < 00，故 ip ( X ) € L 2 ( dfi) y 


这里 d/i 是 [_7 r ，7 r ) 上的勒贝格测度.因此，函数 ^( A ) 可以表示为傅里叶级数 （24) 
其中 



h ( m ) = — / e imA v ?( A ) dA , 


并且收敛性应理解为 



#( 入) - 

\m\^n 


h ( m ) 


2 


d\ —► 0 ， n 


― > 


设 


• Vn 





Z ^ dX ) < oo，n e Z . 


除了测度 Z = Z ( A ) 之外，我们再引进不依赖于 Z = Z ( A ) 的、新的正交随机测度 
^ = 2( A ), 并满足 E | Z ( a ,6]| 2 = ( b - a )/(2 n ). (一般，建立这样测度的可能性，应以原 
概率空间充分“丰富”为前提设 
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随机测度之= Z(A) 是具有正交值的测度，这时对于任何 △ = (a, 6], 

E|Z(A)| 2 =占 乂 |^(A)| 2 |(p(A)| 2 dA + 去 乂 II — ^ 0 (AMA)| 2 dA = 告 

其屮 \ A \= b - a . 因此，平稳序列 e = ( e n ), neZ , 是白噪卢，其中 





tXn 


Z ( dX ). 


现在，注意到， 



i\n 


if(\)Z{d\) 



i\n 


Z ( d \) = rj n 


而另一方面，根据 VKA ) 的定义和§2的性质（14)，以概率1，有 


(31) 



i\rx 


(^( A ) Z ( dA ) 



iAn 


E 


m h ( m ) Z ( dX ) 


E "( m ) 



iA(n 


m ) Z ( dA )= h ( m ) £ n 


m ， 


于是，注意到 （31) 式就证明了表达式 (30). □ 

注如果（按勒贝格测度几乎处处） U \) > 0,则引进辅助测度芝= Z ( A ) 就没 
有必要（因为这时勒贝格测度几乎处处1 - v ^( A ) p ( A ) = 0)，而且“原概率空间充分 
4 丰富’ ”的前提条件也可以去掉. 

系1假设谱密度（按勒贝格测度几乎处处的） A ( A )>0, 并且 


A ( A )=- b ( A )| 2 , 


其中 


= T 2 e ~ iXk h ( k) y _)| 2 < 00 


fc =0 


k =0 


则序列 r ? 可以表示为单侧移动平均的形式 


Vn ~ / fc (/7 i)£ n 


m =0 


特别，设 P ( z ) = a 0 -\- a \ z + ••- + a p z p , 則谱密度为 

/,(A) = ^|P(e- A )| 2 


的序列 T7 = ( r /„) 可以表示为 


Vn = + ^l^n-1 + • ‘ • + %^n-p. 


• 70 • 


第六章弱（广义）平稳随机序列 • 理论 


系 2 假设《= (&) 是平稳序列，具有有理谱密度 


刷 


27 T 


P ( e ~ lA ) 

Q ( e ~ iA ) 


(32) 


其中 P ( z ) = ao + + • •. + a p z p , Q ( z ) = 1 + + •. • + b q z q . 

如果多项式 Q ⑷在集合 {u I 爿 =1} 上无 0 点，則存在这样的白噪声£ = ( e n ), 
使以概率1，有 


Cn + blCn -1 + ... + + ^ l ^ n -1 + … + a p £ n - p . (33) 

相反，设 $ =( 匕）是任意平稳序列，并且满足这样带某白噪声^ 的方程 

(33), 以及在集合 M = 1} 上无0点的多项式 Q ⑷，則 S = ( 心）有谱密度 （32) 
式. 

事实上，设 ％ = 4 - 6l4n-l + … + 一 q. 那么， 

副=4：1作， 2 ， 


而由系1得所要求的表达式. 

另一方面，如果表达式 （33) 成立，而 A ( A ) 和巧 ㈧ 是序列 《和 r / 的谱函数，则 

^(A) = f |Q(e--)| 2 d^(i;) = ^ |V(e--)| 2 dt;. 


由于 \ Q ( e ^ iv )\' 2 > 0, 故由此得由 （32) 式确定的 密度. 

4. 遍历性定理下面（均方意义下的） 遍历性定理， 可以看做弱平稳随机序列 
的大数定律的类似. 

定理4 设《= (^), neZ , 是任意平稳序列， E 心 = 0,且具有协方差函數 （1) 
式和谱分解 （2) 式，則 

(34) 

71 k=0 


和 


证明由 （2) 式，可见 


n 


Y ^ R ( k )- Fm )- 


it=o 


(35) 


其中 



VP n ( A ) Z ( dA ), 


Pn (入) 


n 


E 

k=0 


e 


ikX 



e inA - 1 

e 名入 一1 ， 


若 A = 0, 
若 A 一 0. 


(36) 
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显然， bn(A)| ^ 1. 

其次，由于 (^ n ( A ) / {0 }( A ), 因此由§2的性质 （14), 有 



^ n ( A ) Z ( dA ) ^ 



/ { o } ( A ) Z ( dA ) = Z ({0» 


于是 （34) 式得证. 


类似地可以证明结论 （35) 式. 口 

系由于，如果谱函数在 0 点连续，即 F ({0}) = 0, 则 Z ({0}) = 0 (P - a . c .)， 可 


见 （34) 式和 （35) 式，有 


n E_ 南心义 0. 


Ar =0 


fc =0 


由于 


E _ 


k =0 




2 


2 


心 $E|^o| 2 E-V^ , 

T1 l 』 


k=0 


可见相反得蘊涵关系也成立: 


1 穴 ― 1 2 -1 n — 1 

k=0 k=0 


这样，算术平均值 n - 1 E 心（在均方意义下）收敛于 0的充分和必要条件是 

k—0 

E 1 甩幻 — 0. 由此可见，如果原序列随机变量的数学期望为 m ( E ^ = m ), 则 

fc=o 






(37) 


k=0 


k=0 


其中 R ( n ) = E (心一 E ^)(《 0 - 福. 

我们还要指出，如果以大于0的概率 Z ({0}) ^ 0,则说明序列心包含“随机常 

数 a ”： 


= a + Vny 


其中 


Z ({0}), 而在谱表示 


Vn 



iXn 


Z v ( d \) 


中测度 A = Z V ( A ) 己经满足 Z n ({0}) = 0( P - ax .). 结论 （34) 式说明，算术平均恰 
好均方收敛于这一随机常数 a . 


• 72 • 


第六章弱（广义）平稳随机序列 • L 2 理论 


5. 练习题 

1 . 证明 1 W ) = L 2 ( F ) (记号见定理 1 的证明). 

2 . 设$ =(心)是平稳序列，具有性质：对某个 AT 和一切 n ， 有^证明 
这一序列的谱表示归结为 §1 的表示 （ 13 ) 式. 

3 . 设$ = (U 是平稳序列，其中 E 心= 0 ,且 满足： 对于某 C > 0,a > 0 ,有 

= j E _ 卜砦 卜 ；- 

fc=o i=o L J 


利用博雷尔-康泰利引理证明 

1 JL 

jy ~ > 0 (P - a . c .). 

k=Q 

4 .假设《= (《 m ) 是随机变量序列，具有有理谱密度 

r /\\ 1 |Pn-l( e lA )l 

祕 ) = 5 |Qn(e，r ( ) 

其中 P n -\( z ) = ao + a\z + … + a n ^\ z n ~ l , Q n ( z ) = 1 + 612 + ••• + b n z n , 而且多项式 
Q n ( z ) 的根不在单位圆上. 

证明存在这样的白噪声 e = ( e m )，m € Z ， 使序列 D 是 n 维序列（&,&，•••， 
^ Uln = U 的分量，而 n 维序列 （ eLa ，". 4 ) 满足方程组： 


A+1 =《二 1 + /^m+l， < = 1，...，打 _ 1， 

fl — 1 

^ m +1 ~ — > : /^ n ^ m + l ， 

J =0 


(39) 


其中 A = a 0 , A = di -\ 


- 5 Z pk ^ i - k - 

k =\ 


§4. 协方差函数和谱密度的统计估计 

1. 协方差函数的估计及其性质平稳随机序列概率分布的各种特征的统计估 
计问题，出现在各种不同科学领域（地球物理学，医学，经济学等等) • 这一节讲述的 
内容，建立估计的概念和方法以及这里可能出现的 困难. 

这样，设 《= (《 n ),n e Z ， 是广义平稳随机序列（为简便计，假设是实数值序列)， 
且有数学期望 E 匕 = m ， 而其协方差函数有如下表现： 

R ( n )^ r e iAn F ( dA ). 
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设在对随机变量心，6,…值观测过程中得到（实现）:，:问 
如何根据观测结果建立（未知） 均值的 “好”估计？ 

设 

1 /V - 1 

m N (^) = -^ Xk ' ⑴ 

fe =0 

那么，由数学期望的初等性质，可见该估计在如下意义上是数学期望 m 的“好”估 
计：“全部实现 工0,… ,^ N-l 的平均值” 是无偏的 ，即 

Em N (^) = E = m. (2) 

V fc =0 / 

9 

此外，由§3定理4可见，在 

1 N 

-^ R ( k ) 0, AT — 00 ， 

V fc =0 

的条件下，估计在均方意义上也是 相合的 ，即 

E | m ； v ⑹ 一 m | 2 — 0 ， iV — 0. (3) 


现在，在 m = 0条件下，讨论协方差函數 R ( n )、 谱函数 F ( A ) = F ((- tt ， A )) 和 
谱密度 /( A ) 的估计问题. 

由于 R ( n ) = E & 十“ k , 则作为对其根据次观测结果的估计， 
自然假设对于 0< n < iV ， 


R N { n , x ) = 



TV — n — 1 

〉: ^ n + fc ^ fc - 
Ar=0 


显然，估计在如下意义上是无偏的: 


ER / v ( ti , 0 = i ?( n ), 0 ^ n < iV . 

现在讨论估计 R N ( n ^) 的 相合性 问题.将§3的 （37) 式中的心换成心 + 心，并 
假设对于每一个整数 n ， 序列 C = { Ck ) k£lXk = 《 n + fc 《 fc 是弱平稳的（特别，由此可见 
存在4阶矩 Ed < oo ). 因此条件 

^ — i?(n)][《 n 《 0 - i?(n)] — 0， iV — oc ， ⑷ 

k =0 

对于 


是充分和必要的. 


— 0, N — 00 
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2. i 普函数和谱密度的估计的求法现在讨论建立谱函数 F (\) 和谱密度 /( A ) 
的估计问题（假设 F ( A ) 和 /( A ) 存 在). 

自然，由赫尔格洛茨定理（第55页)，可以得出建立谱密度估计必经的途径•回 
忆在§1引进的函数： 


MX ) 


2 n 


E 

\n\<N 


M 

N 


R ( n)e 


in\ 


⑼ 


它具有如下性质，由 / n ( A ) 建立的函数 


Fn (入)= fN ( v)dv 

J — IT 

基本收敛于谱函数 F ( X ). 因此，假如谱函数 F ( X ) 有密度 /( A )， 则对于每个 A e 

[-7 T ，7 T ), 有 ^ 入 

[ fN ( v ) dv -^ ( f ( v ) dv . (10) 

•/ — 7T —IT 

由这些事实，并注意到 ^ v ( n ， x ) 是（根据观测值 xo ^ x ,.*. 对 fl ( n ) 的 


—> 


f ( v)dv 


由这些事实，并注意到 ^ v ( n ，: t ) 是（根据观测值 x 0 , X ! 


估计值，用函数 


/ n ( A ; o :)= ^ 


N<n 


NJ 


Rj ^( n ; x)e 


( 11 ) 


做 /( A ) 的估计值,其中 Rn{ti;x) = R ^(| n |; x ). 

通常称函数 / n ( A ; x ) 为周期图，并且不难验证函数 / n ( A ; x ) 也可以表示为如下 

较为方便的 形式： . 


2 


■ ▼ 


i 入 n 


/n(A;x) = 2-] Xne 1 n * 

n =0 

由于 ER N ( n ;^) = R ( n ), |n| < N , PJ 

E // v ( A ;0 = / n ( A ). 

如果谱函数 F (\) 有密度 /( A )， 则注意到 f N ( X ) 可写成§1中 （34) 式的形式，有 


( 12 ) 


MX ) 


2 nN 


^麵 1 N—1 广 Tf 

e iv ^% iX ^ f ( v)d 

i > — J 一 貫 


fc=0 l—O 


2 



2 ^v E ei(V " A)，： /( 咖 • 


函数 


^ at ( A ) 


2 ttN 


• ▼ mi 

E 


iXk 


1 

sin〆 

2 nN 

. A 
sm — 

2 
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称做费耶尔 （ L . Fejer ) 由该函数的性质知，对于（按勒贝格测度）几乎所有的入， 


有 


f - v ) f ( v)dv /( A ). 

J — 7 T 


( 13 ) 


因此对于几乎所有的 A e h 7 T ，7 T )， 有 

E/n(A ； 0-/(A), (14) 

换句话说，谱函密度 /( A ) 根据观测值 , XN - 1 的估计 // v ( A ； x ), 是漸近无 
偏的. 

在此意义上，可以认为估计 Zn ( A ; x ) 是充分“好的 ”• 然而，周期图 // v ( A ;： T ) 在 
个别观测值 X 0 , X !,... , x N ^! 上的值，对真值 /( A ) 的偏离往往是很大的.例如，设 
^ = ( U ) 是独立平稳高斯随机变量序列，^〜 N ( OA ). 那么 /( A ) 三 1/(2 tt ), 而 


/ n ( A ；0 


2 丌 


N 


y/N 




i\k 


fc =0 


2 


因此 2 tt / n (0； O 与髙斯随机变量 W 〜 iV (0， l ) 平方的同 分布. 由此可见，对于任意 iV 

E|/n(0 ； O- /(0)| 2 = ▲Elr/ 2 - 1| 2 > 0. 

此外，经不复杂的计算可以证明，如果 /( A ) 是移动平均平稳序列《= « n )： 


h = 5二 a k ^ n-k 


k =0 


( 15 ) 


的谱密度，而且 E 1叫1 < 00, E l ^ l 2 < OC ， 其中 e = (^)是白噪声，且< 00, 

k—0 fc — 0 

则 

八 ,、 |9 f2/ 2 (0) ， A=0 ， =b7T ， 

— / (叫二 ：…，土 A 


( 16 ) 


由此可见，周期图不能做谱密度的满意的估计.为矫正这种情况，作为 /( A ) 的 


估计常利用形如 


^( A ； x ) 





W N {\- v ) f N ( v ] x)dv 


( 17 ) 


的估计，而 你(入; X ) 是由周期图 / n ( A ; x ) 以及称做 谱窗的 “光滑”函数 UOv ( A ) 建立 
的估计.对于函数 W N (X) 自然的要 求是： 

a ) W N (X) 在点 A = 0的邻域内有“尖锐的”极大值； 

b) f： n W N (X)d\ = h 

c) E|/^(A ； 0- /(A)| 2 — 0, iV — oo, A e [- tt ， TT). 



协方差函数和谱密度的统计估计 


• 77 • 


由 （14) 式和条件 b ) 知，估计 / Jr ( A ;0 是渐近无偏的.条件 c ) 是估计为均方渐近相 
合性条件，由上面的讨论知周期图不满足条件汴最后，条件 a ) 保障给定频率 A 的 
周期图的“尖锐度”. 

下面是形如 （17) 式的估计的一些例子. 

巴特利特 （ M . S . Bartlett ) 估计，基于谱窗 

Wv ( 入 ）= aisfB(aisfX) 

的选择，其中 ajy T oo ， a ； y /7 V — 0 ，iV — 00 ,而 


B(X) 


2 丌 


帕赞 （ E . Parzen ) 估计，利用谱窗的函数 


^n(A) = arsrP(aNX), 


其中像巴特利特的情形一样，而 




土 

87T 


茄尔边科 (>Kyp6eHKo) 估计利用形如 


(入） = CtN ^(^ N ^) 


的谱窗建立的，其中 


ZW 


，令 I :::: 


其中0 < a < 2,而是专门选择的量. 

我们不准备详细讨论谱密度的估计问题，只是指出，关于谱窗的建立，以及与其 
相应的估计 f ^( X ； x ) 的性质的比较，存在大量统计学文献.（例如，见[133]，[71]，[72]). 

3. 谱函数的估计现在考虑谱函数 F ( A )= F ([- tt , A ]) 的估计 问题. 为此，设 


F n (X) 



f N ( v ) dv , F n ( X \ x ) 



fN(v;.r)i\v y 


其中 Jn(v^x) 是根据（: rm ，…， 建立的周期图 • 

由赫尔格洛茨定理（第55页）的证明，可见对于任意 n € Z , 当 AT — oo 时 



e iXn dF N (\) 


―¥ 



e iXn F(d\). 
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由此（参照第三章§3定理1的系） 可得 F N 4 F ， 即在函数 F ( X ) 的每一个连续点 
上， F n (X) 收敛于连续函数 F(X). 

注意到，对于一切 | n | < N ，韦 

f e^dF N (A；0 = fl N (n；0 (l - 

因此，如果假设当 TV — oo 时 R N ( n ^) 以概率1收敛于 i ?( n )， 贝 IJ 

^ e iXn dF N (\]i)^ e iXn dF(X) (P - a.c .)， 

%/一 7T t/_7T 

从而心 (A;Q — F(J\) (P-ax.). 

由此容易得到（当证明必要性时，需要考虑其子序列 )，^ R ( n ), 而也 

4. 练习题 

1. 设 （15) 式中的随机变量 e n ~ ^(0,1). 证明，对于任何 n 与当 7 V — oo 时，有 

(JV - |n|)DR N (n • 乂 ） 一 2tt 厂 (1 + e 2inX )/ 2 (A)dA. 

J —7 T 

2. 证明 （16) 式及其如下推广的正 确性： 

{ 2/ 2 ⑼， A = v = 0, ±7r, 

/ 2 ( 入 )， A = 1 ； ^ 0,±7T, 

0， \ ^ v . 

§5. 沃尔德分解 

1. 平稳序列的正则分量和奇异分置下面将要讨论的沃尔德 （ A . Wold ) 分解, 
与§3的表达式 （2) 不同： （2) 式在频 率范围 内给出了平稳序列的分解，而沃尔德分 
解是在时 间上的 分解，沃尔德分解的实质在于，平稳序列《= Un ), n ^ Z , 可以表示 
为两个平稳子列之和：其中一个可以完全预测（即它的值完全可以由“过去”的值复 
原)，而另一个却不可以预测. _ _ 

我们首先引进若干记号.设 H n {0 = : P ( r ) 和 糊= ^(0 相应为由随机变 
童=(… A -1, 匕）和《= ( …，匕-以 n , …）生成的线性流形的 闭包设 

n 

对于任意元素 r ? € //($)，以 

5 rn ( r ?) = E (7；| H n (0) 


§5. 沃尔 徳分解 
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表示元素 r / 在子空间 H n ( 0 上的射影（见第二章 §11) .记 

5? ， oo(”) = E(^|5(0). 

每一个元素 W e H ( 0 , 可以表示为 

V = TT-oo(^) + [”- 5f-oo(”)l ， 

其中 r / - 5^00(7；) 丄 ？_ oc ( r /). 因此，空间 H (^) 可以表示为正交和： 

■ = 3_概 

其中 3(0 由形如 ?_ oo ( r ;)[ r ; € i /(0] 的元素构成，而况 (0 由形如 r / - ？- oo ( r /) 的元 
素构成. 

下面，总是假设 E 心二 0, D^ n > 0. 这样，空间 H ( 0 显然是非平凡的（包含非0 
元素). 

定义1 平稳序列$ =( 匕） 称做正则的， 如果 

_ =慰 

而称做 奇异的 ，如果 

_ = ■. 

注1 奇异序列亦称 为确定序列， 正则序列亦称为纯 粹或完全非确定序列 .如 
果 5(0 是空间 H ( 0 的特征空间，则序列 （ 称做 非确定序列. 

定理1 任意弱平稳随机序列 < 可以分解为 

Cn = C + G ， ⑴ 

其中 f =(《；；）是正则序列，而 e =⑹）是奇异 序列. 而且和 P 正交（对于一切 

n 和 m ， 巧丄^ 

证明根 据定义，设 

^ = E[Cn|5(0], 

由于对于任意 n ， 巧丄 5(《)，则丄沒(0.另一方面，因为 S ( C ) £ 5(0,说明 
S ( C ) 退化（只含几乎必然为0的随机变量).从而，过程 f 是正则的. 

此外，由于 H n (0 C H n ( C ) eH n ( C ) S . H n ( C ) C H n ( 0 , Hn { C ) Q 好 n (0, 可见 
H n (() = 因而对于任意 n ， 有 


5(0 g // n (0 © 


(2) 
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因为 G 丄 5(0, 所以由（ 2 )式，可见 

s(o c // n ( n , 

因而 5(0 S 5(^) c i/(f) .由于 G e 5(0, 可见 H (^) C S(a 从而 

5(0 = s(n = rna, 


这说明序列 p 是奇异的. 

由于 g e 5(^), 而且以丄 s ( o , 可见显然序列 r 和 r 正交. 口 

注2 分解 （1) 式中，将 序列& 分解为正则分量和奇异分量的唯一性，见练习 

题 4. 


2. 沃尔德分解 

定义2 设4 = ( 心）是非退化平稳序列.称随机序列 e = ( 〜）（对于《） 为更新 
序列， 如果： 

a ) e = ( f n ) 由 E 、 = 0, E |£ n | 2 = 1的两两正交随机变量构成； 

b ) 对于任意 n € Z , H n (0 = H n { e ). 

注1术语“更新”的含义与如下联想 有关： e n + i 仿佛携带着 H n (0 不包含的 
新的“信息”（或者说，“更新” H n (0 中形成 H n + l (0 所必要的信息). 

下面的重要定理是前面（第52页例 4) 引进的，单侧移动平均序列与正则序列 
之间建立联系. 

定理2 对于非退化序列€为正則$列的充分和必要条件是，存在一更新序列 

e = { e n ) 和复数的序列 （ a „)， n 彡0,其中 E | a n | 2 < oo , 使 


Cn = >: ^k^n—k a.C.). (3) 

k =0 

证明 （1) 必要性.将 H n (0 表示为： 

flnUAO ㊉ B n . 

由于 H n (0 是由 H n . x (0 中形如 W 是复数）的元素组成，可见空间凡的维数 
等于1或 0. 对于任何 n ， H n (0 都不会与等同.事实上，假如对于某个 n ， 
B n 是平凡的，则由于平稳性，对于一切 / c ， 风 也是平凡的，而这表示 H (0 = 5(0, 
然而这与序列《的正则性条件相矛盾.于是，空间的维数等于 1. 

假设 r / n 是中的非0元素，而 

e n = i t 

\Vn 


其中 h n || 2 = E | r ; n | 2 >0. 


对于固定的 n 和 A :, 考虑 分解: 


H n (0 = H n _ k (0 ㊉ B n - k+1 ㊉ … ㊉ 凡. 

那么， “- A .， …，“在 ^ n - k+l 0 * • * 0 B n 中构成规范正交基，且 

k -1 

= > : ajS n _j + 7 Tn -/ c (^ n )» (4) 

j =0 

其中 a ). = El ^ n ^ n - j - 

由贝塞尔不等式（第二章§11的 （6) 式)，可见 

£ k | 2 ^ Un \\ 2 < 00 . 

j =0 

由此可见，级数 g a^ n _, 在均方意义下收敛，而由于 （4) 式，为证明 （3) 式只需证 

j=0 

明： 当 fc — oo 时 

只需证明 n = 0的情形.记元=由于 

k 

开 -*： = 亓 0 + E (亓一 i 一亓一 <+1)， 

i—0 

而和式中的各项正交,故对于任意 A ： > 0,有 

k k 2 

[ II? 一 i - 7T. 1+ i|| 2 = [d - 充 - ⑷）： ||?U — All 2 $ 4|Ko|| 2 < OO. 

i=0 t=0 

于是，存在均方极限 fc lim 7 T _ fc . 对于每一个 € H - k (0 , 故所考虑的极限应属 
于空间 5 U . 对于每 e H -亂 所考虑的极限应属于子空间门 i /- fc (0 = 

k^O 

5(0- 因为根据假设別 C ) 是退化的，所以当 A : — 0 C 时5?^ & 0. 

(2) 充分性 . 假设非退化序列《可以表示为 （3) 式的形式，其中 e = ( 〜）是正交 
系（未必满足条件： i / n (0 = H n { e),n € Z ). 那么， H n (0 C H n { e ), 因而对于任意 n ， 
有別《） = fl ^(0 £队⑷•由于 £ n +1 丄 H n { e \ 可见〜 H 丄 5(0, 且 e = ( e n ) 是 

H (0 的基/由此可见，子空间 5(0 是退化的，所以序列$是正则的. 口 

注2 由上面的证明，可见非退化序列$是正则的，当且仅当它按照§1例4 ( 第 
52页）中的定义，可以表示为单側移动平均的形式： 

夢 

OO 

Cn = W ^k^n-ki (5) 

fc =0 

其中5 = ( i n ) 是某一正交系.在这种意义上，由定理2的论断可以得到更多的结果. 
具体地说，对于正则序列《，存在这样的数列 a =( 如）和正交系6 =(〜)，使与 （5) 
式同时⑶式也成立，且对 于⑶式 H n (0 = H n ( e ), neZ . 
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由定理1和定理2直接得下面的定理. 

定理 3 (沃尔徳分解） 如果€ = (€ n ) 是非退化平稳序列 ，則 

00 

《n = G a k £ n-ky ⑹ 

fc =0 


其中£ lafcl 2 < 00, 而 e =(。）（对于 r ) 是一更新序列. 

k =0 

3. 外推和预测在讨论下面的（线性）外推问题时，上面引进的正则和奇异序 
列的含义，就显得特别清晰.利用沃尔德分解 （6) 非常有助于（线性）外推问题的一 
般解. 

设 Ho (0 = L ^( e ) 是由变童 f = ( …，《-1乂0)生成的封闭线性流形.考虑根据 
“过 去的” 观测结果 f = ( … 以 。)，建立变量匕的（均方）最优线性估计&的 
问题. 

由第二章§11，可见 

in = ⑺ 

(按第 1 小节的记号= 知 (匕 )) .由于 r 和 r 正交且 ffoU) = Ho(n e Ho(C), 
则注意到 （6) 式，有 


in = e [^ + cwoio ) = E [^ i / f 0 ( oi + nmio ] 

= E[e n \H 0 (n © Ho(n) +运 [ci 疏 r ) ㊉ 丑 o(o] 


m S n\Ho(e)] + nCMiC)] =^+E 




k 


k =0 


Ho ( C ) 


在 （6) 式中，对于 e = (£ n)^ r = (^) 是更新序列，从而 H 0 ( C ) = ifo ⑷•因此 




./c=0 


H 0 (e) 


Cn ^ : a k ^ n—ky 


⑻ 


k 


而根据 P 





预测 $ n 的均方误差等于 


= E|《 n - “| 2 = l a fc| 2 * 

k =0 


⑼ 


由此可得如下两个重要结论： 

a ) 如果序列$是奇异的，则对于任意1,(外推）误差#等于 0. 换句话说， 
可以根据“过去” 4° = ( … ，《- i ，€ o ) 无误差地预测心 

b ) 如果序列$是正則的，则4 < # +1 ，而且 

= [| a fc | 2 . 


(10) 


由于 


5> fc | 2 = E |《 n | 2 , 

k =0 

则由 （ 10 ) 和⑼两式可见 

0，71 — 00 ， 

即随 n 的增大，由 f =(…，预测随机变量是平凡的（简单地就等于 

= 0 ). 

4. 正则序列的充分和必要条件假设 < 是非退化正則平稳序列.根据定理2, 
任何这样的序列可以表示为单 側移动 平均的 形式： 

OO 

= 〉： (^k^n-k-i ( 11 ) 

fc =0 

其中£ 1叫| 2 < 00,规范正交序列 e = ( 〜） 具有如下重要 性质： 

fc =0 

H n (0 = H n (e), neZ. ( 12 ) 


表达式 （11) 表示（见 §3 第 3 小节)，当在 物理可实现的滤波器 入口传递序列 e =(、) 
时，以 a = ( a k ) y k ^ O , 为脉冲转移函数的滤波器、在出口的接收信号 为心. 

像任何双侧移动平均一样，正则序列具有谱密度 /( A ). 但是，由正则序列可以表 
示为单倒移动平均的情形，可以得到关于谱密度的补充信息. 

首先，显然 

/(A) = ^k(A)| 2 , 

其中 

OO OC 

^( A ) = 5 Z e_iAA：afc? 5 Z | a / c | 2 < oo . (13) 

k=0 k=0 

设 

oo 

^( z ) = YL akzk ' ( 14 ) 

k—0 

该函数在开区域 b < 1} 是解析函数，并且由于条件 g | a n | 2 < oo , 属于所谓哈 

代 （ G . H . Hardy ) 函數类 // 2 ,即在满足 

1 

sup G 

0<r<l 27T 

的、区域 {z : |勾< 1} 上的解析函数类 0 = g ( z ). 事实上， 




|^>( re t 0 )| 2 d ^ = ^ \ ak \ 2 r 2h 
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且 


\ a k \' 2 r 2k ^ ^| a / t | 2 


< oo. 


复变函数论中证明，恒不等于0函数伞€丑 2 , - 7 T < A < 7 T 的、边界值 ^( e iX ) 


满足如下性质: 



In |0(e _lA )|dA > 一 oo. 


(16) 


对于现在所考虑的情形, 


/(A) = 士阶 ― ， 1 2 , 


其中$ e if 2 . 因此 


In /( A ) 


ln27r + 21n|$(e-* A )|, 


从而，正则过程的谱密度 /( A ) 满足条件 



ln /( A ) dA > - oo . 


(17) 


另一方面，假设谱密度 /( A ) 满足条件 （17). 仍然由复变函数论的性质，可见在 
哈代函数类 i / 2 中，存在函数企(幻=£ 使（按勒贝格测度几乎处处） 


/(A) = ^|^(e- lA )| 2 . 


因此，设 <f(X) = 少 (e_ 以)，得 


/(A) = ^k(A)| 2 , 


其中 ifi ( X ) 是由 （13) 式中的函数.那么，由§3定理3系1可见，序列《可以表示为 
单侧移动平均 （11) 的形式，其中 e = ( e n ) 是某一规范正交序列.由此以及第 2 小节 
注2,可见序列$是正则的. 

于是，我们证明了下面的定理. 

定理4 (柯尔莫戈洛夫）设《是非退化正則平穗序列，則存在满足 



ln /( A ) dA > 


(18) 


谱密度 /( A ). 特别，（按勒贝格测度几乎处处） /( A ) > 0. 

相反，如果《是某一有请密度且满足条件 （18) 的平稳序列，则该序列是正則的. 

5. 练习题 

1. 证明具有离散谱（谱函数 F ( A ) 是阶梯函数）的平稳序列是奇异的 • 

2. 假设 d = E|(n — &| 2 ，& = n ^ Hom 证明，如果对于某个 n 彡= 0, 
则序列€是奇异的；而假如 n — oo ,4 — R (0) y 则序列€是正 则的. 



§6. 外推、内插和过滤 


3. 证明平稳序列 C 二 （心 Un = e^, 是正 则的， 其中 p 是在 [0, 2 tt ] 上的均匀分 
布随机变量.求估计 f 和巧 的值.证 明非线 性估计 



是根据“过去” $ = (••• ，《- ^ o ) 对匕的无误差预测，即 

E| 《 n-U = 0, 1. 

4. 证明，将心分为正则分量和奇异分量的分解 （1) 唯一. 


§6. 外推、内插和过滤 


1. 外推对于奇异序列的情形，由上一节结果，可以根据“过去 ”0 = ( …， 

《 0 )，进行无误差预测（外推）随机变量 《 n ， n 彡 1. 因此，自然在讨论任意随机序列的 
外推问题时，首先研 究正則 序列的情形. 

根据§5的定理2,任何正则序列€ = ( c n ) 都可以表示为单侧移动平均 

OQ 

Cn — > : a fc g n-fc， (1) 

k^O 

的情形，其中 f 一| 2 < oo ,£ = ( e n ) 是某一更新序列.因为根据§5 的⑻式 ，有 

fc =0 

OO 

fn = ⑺ 


和 n _, 

a 卜 E|《 n -&| 2 =^>,| 2 . ⑶ 

k=0 

所以由 §5 可见，表达式 （1) 解决求最优（线性）估计^ = m n \ H 0 (0) 的问题.不过， 
由于如下的原因，该解只能是原则性的解. 

通常所考虑的序列并没有 （1) 式表达,而是由其协方差函数 R ( n ) 或谱密度 /( A ) 
表达（对于正则序列 /( A ) 存在).因此,只有在系数叫通过 i ?( n ) 或 /( A ) 值表示，而 
变量 q 通过的…值表示的情况下，才可以认为解 （2) 是满意的. 

我们不涉及这一问题的一般形式，而局限于讨论一种（对应用感兴趣的）特殊情 
形，即谱密度表示为 

/( A ) = 士|抑-“)|2， (4) 

的情形，其中函数 ^( z ) = £ b k z k 的收敛半径为 r > 1，而且在区域< 1} 内 

k=0 

无0点. 
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设 





iAn 


Z(dA) 


⑻ 


是序列 € = « n )， n € Z ， 的谱表示. 


定理1 如果序列 < 的谱密度表示为 （4), 則根据 f = (••• 对随机变 


量心的最优（线性） 估计& 由公式 





^ n (A)Z(dA) 


表示，其中 


^ n ( A ) 


iXn ^ n ( e - iX ) 

^( e ~ <A ) 


而 


^ n ( z ) = ^ b k Z k . 

k=n 

证明根据 §3 定理 2 的注，任意随机变量 fn € H 0 {0 可以表示为 


— ■ 



^ n (A)Z(dA), (p n G H 0 (F), 


其中 H 0 ( F ) 是由函数 


⑹ 


⑺ 


⑻ 




(n 彡 0) F ( A ) 



f(v)dv 


生成的闭线性流形 
由于 


ERn -之 n | 



i\n n 


^n(A)]Z(dA) 



t 入 n 


-匕 ㈧ | 2 / ㈧ dA , 


则估计 （6) 式之最优性的证明归结为证明 


inf / 

(pt^fio(F) J 眷， 


iXn 


(p n (\)\ 2 f(X)d\ 



iXn ， 


^n(A)| /(A)dA. 


⑼ 


由希尔伯特空间的理论（第二章 §11) 可见，（在 （9) 式意义下的）最优函数 ^ n ( A ) 
决定于如下两个 条件： ^ 


1) ( Pn (\) € Ho ( F ); 

2) [e iA " - A(A)j 丄 / / 0 (f) 


(10) 


由于 


e iXn ^ n {e' iX ) = e iXn [b n e- iXn -I- 6n+ie" a(n+1) + •••]€ Ho(F )， 




外推、内插和过滤 
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且类似地 K l ^- iX ) e H 0 (F), 则由⑺式定义的函数 (p n (X) 属于函数类 H 0 (F ). 因 
此，为证明函数 A(A) 的“最优性”，只需对于任意 m 彡0,证明 

[ e iAn — 心 ㈧ ]丄 



(pnW = C 0 + C^ iX 4- C_ 2 e- 2iA + … 

则根据“过去” f = 对随机变量 &,n > 1，的预测（外推）&决定于 

如下公式： 

《n = Co^o + + CL 2 《一 2 + … 


注2 有理函数 



P(e~ lA ) 2 
Q ( e - iX ) 



是由 （4) 式表示的谱密度的典型例子，其中多项式 P(z) = a 0 + ay + • • • + 和 
Q(z) = 1 + + • • • + 在区域 {^:| r |< l } 内无 0 点 • 

事实上，在这种情形下只需设= P(z)/Q(z ). 那么 


企⑷ = E C 〆 ， 
k =0 


而且该级数的收敛半径大于 i. 
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举两个演示定理1的例子 


例 


设谱密度为 


/( 入）= —(5 + 4 cosA ) 


相应的协方差函数 R(n) 具有“三角形” 形状: 


R( 0 ) = 5, R(±l) = 2, R(n) = 0(| n | 彡 2) 


由于所考虑的谱密度可以表示为 


/( A ) = -|2+ e -^| 2 , 


故可以运用定理 1. 易见 


(11) 


<^ i ( A ) ― e l 入 2 + 6 一以， Pn ( A ) = 0 (n 彡 2) 


( 12 ) 


所以对于一切 n 彡2, 心 = 0,即根据 f = (…，《一以。) 对^的（线性）预测 是平凡 
的.因为，如果注意到根据(11 )， Un > 2) 与$山，…，中任意变量的相关性为0, 
则这一点也不奇怪. 


对于 


n — 


1，由⑹和 （12) 两式，可见 


6 



TT p —立入 1 

•/^寧 )1 



冗1 +竺 


Z(dA) 




E 

fc =^0 


(_l) j 

2 fc+i 


fc = o 


2 Co ~ + 


例 2 设协方差函数为 


那么（见第53页例 5) 


即 


其中 


岭) 


由于= #，得 


R(n) = a n , |a| < 1. 


/(A) 


i i - M 2 

2n |1 — ae ^ iX \ 2 ' 


/(A) = ^|^(e- a )| 2 , 


(1 - | a | 2 ) 1/2 


1—(22 


(1 - \a\ 2 ) 1/2 Y^(az) 


fc =0 





a n Z(dA) = a n ^ 


换句话说，为由观测值 $ = (••• ，心）预测心，只需知道最后一个观测值 Co 



外推、内插和过濾 
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注3由正则序列$ =( 心）的沃尔德分解 


= 〉： a k^n-k 


(13) 


可见谱密度 /( A ) 可以表示为 


/( A ) = ^|^( e - lA )| 2 ? 


(14) 


其中 


企 ( z ) = Yl akzk ' 


(15) 


显然，相反得命题也成立：如果 /(A) 可以由形如 （ 15) 式的函数 <^( z ) 表示为 （ 14) 式， 
则序列《= (《 n ) 的沃尔德分解具有 （ 13) 式的形式.从而，谱密度 /(A) 形如 （ 14) 式 
的表现问题，与沃尔德分解中求系数 q 的问题等价. 

定理1中关于函数 <^( z ) 所作的 假设： 对于 r 〉1，在区域0 : 1} 内函数 

企⑷无 0 点，实际上并不需要.换句话说，如果正则序列的谱密度由形如 （ 14) 的式 
子表示，则由 f = 建立的、变量^的均方最优估计由&决定于⑹ 

和 （ 7) 两式. 

注4 定理1 (连同上面的注 3) 给出了正則序列的预测问题的解.现在证明, 
事实上对于任意平稳序列，有同样的答案.确切地说，设 、= G +仏， 





tAn 


Z(dA) ， F(A) = E|Z(A)| 2 , / r (A) = -|4>(e- a )| 2 , 


其中厂 ( A ) 是正则序列= ( G ) 的谱密度.那么，估计&决定于⑹和 （7) 两式 
实际上（见§5第3小节)，设 








^ ； (A)^(dA), 


其中 Z r ( A ) 是正则序列 T 表现中的正交随机测度.那么， 


E|《 n — （ n | 



iXn 


(? n (A)| 2 F(dA) ^ 



i 入 n 


-^n(A)| 2 / r (A)dA 



i 入 n 


^(A)| 2 / r (A)dA = E|^-Ct 2 - 


(16) 


其次，由于 E |& - f n | 2 = E|G - C | 2 , 可见匕一& = G — 迂，故由 （16) 式知可以将 
函数心 ( A ) 选为死 ( A ). 
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2 •内插假设《=(心）是谱密度为 /( A ) 的正则序列.根据对&的“过去”值 
{心， n = 土1，土 2 ,… } 的观测结果，建立（均方）最优线性估计是最简单 的内插 问题. 

以 H °(0 表示随机变量 Un ^ 0) 生成的封闭线性流形.那么，根据§3的定理 
2,任意随机变量 e H °(0 可以表示为： 


V 



^( A ) Z ( dA ), 


其中 p € H °( F ) 是函数 e iXn (n ^ 0) 生成的封闭线性流形，而估计 





ip(\)Z(d\) 


是最优的，当且仅当 


(17) 




2= 上丄丨 1 -" ㈧ |2 ， A) 

2 



0 n ( A ) 師 A ) = E | K 0 | 


2 


由希尔伯特空间中“垂线”性质，可见（对照 （10) 式）函数 0( A ) 完全决 
定于如下两个条件： 


1) (^(A)€ //°(F); 

2 ) 1-列 A ) 丄 

定理2 (柯尔莫戈洛夫） 设 < = ( 心） 是谱 密度为 /( A ) 的正則序列 ，且 


(18) 



dA 


/(A) 


那么， 


0( 入）=1 - 


其中 


2n 


a 



= 0 - 

(19) 

a 

fW 

(20) 

r 

dA ， 

(21) 


/(A) 


而内插的误差 J 2 = E |《 o -^)| 2 为 S 2 = 27 TQ . 

证明证明将在关于谱密度相当严格的条件下进行，假设 

0 < c 彡 /( A ) ^ C < OC. 

由 （18) 式中的条件 2) 可见，对于任意 n / 0,有 


( 22 ) 



| l -0( A )| e an /( A)dA = O 


(23) 


§6. 外推、内插和过滤 


i 


在 （22) 式的条件下，函数 |1-^( A )|/( A ) 属于带勒贝格测度 d / i 的、希尔伯特空间 

L 2 ([-7 T , 7 r ],^([-7 T ,7 rj ), d / i ). 在此空间中函数系 



n = 0, 士1， … 



规范正交基（第二章§12的练习题 10). 所以由 （23) 式可见，函数 |1 -列 A )1/( A ) 是 
常数，记作 a . 

这样，由 （18) 式的第二个条件，得 



(24) 


现在根据 （18) 式的第一个条件，确定常数 

由于 （22) 式可见,0 G L 2 和0 e H °( F ) 与如下的条件等价:0属于函数 e iXn (n ^ 
0) 生成的、（在 L 2 中范数的意义上）封闭线性流形.由于在函数的分解式中零系数 
应等于0,故 

0 = / (^(A)dA = 2tt — a 

J — 7T 

可见常数 a 决定于 （21) 式. 

最后， 



S 2 ^E\^ 0 -io \ 2 


I ' | l -^( A )| 2 /( A)dA = | a | 2 

J —7T 
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3. 过滤设 (L ((、)，(匕 ))，n e Z 是部分观测序列，其中0 二队） 是不被 
观测的分量，而€ =( 匕）是被观测的分量.假设0和《是均值为0的（弱）平稳序 
列，而 , t 

On= r e an z e (d\) y ^ = r e iXn Z^(d\) 

J 一 7T J 一 TT 

相应为 0 和纟的谱表示.记 

F e ( A ) = E|Z,(A)| 2 ? F C (A) = E|Z^(A)| 2 , 

而 

〜(△) = EZ e ( A ) Z ^ K ). 

此外，设沒和《是平稳相联系的，即其协方差函数 cov (“）= EO n l m 只依赖于差 
n - m ， 记 Re^ ( n ) = E 6^ 0 , 则 

Redn ) = e <An F^(dA). 

J — 7T 

所讨论的过滤问题，在于根据对彳各种不同的观测结果，建立变量〜的均方最 
优线性估计 

如果假设是按的所有值,建立变量〜的估计则问题的解就特别 
简单.事实上，由于& = E(^ n |i/(0), 则存在这样的函数 A(A)， 使 

O n = ^ ^n(A)Z^dA). (25) 

J —IT 

如同第 1,2 小节， “ 最优”函数 ^ n(A) 应该满足的条件如下： 

1 ) ^n(A) € 順)； 

2) (、 一 &) 丄 i /(0. 

由最后一个条件，可见对于任意 m e Z， 有 

r e iX ^ m ) Fe ^( dX ) - f e- iAm c? n (A)^(dA) = 0. (26) 

J — 7T % 7T 

因此，如果假设函数 i^(A) 和 F ^ X ) 有密度 仏 (A) 和 A(A)， 则由 （ 2 6) 式得 

e. m) [/ 托 ㈧- e-* Am ^ n (A)A(A)]dA = 0. 

J —7T 

如果（按勒贝格测度几乎处处）穴 (A) 〉0,则由此立即得 

麥 n(A) = e an 购, 


其中 


綱= fed^) x /f ㈧ ， 


(27) 
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而 f ( A ) 是众 ㈧ 的“广义逆”，即 


/f (A) = 


IMA )】 — 1 ， MX) > 0 , 


0 , 


hW = 0 - 


这时，过滤误差 


Eim 



[feW - /| c (A)/f (A)]dA 


(28) 


不难验证 A € H ( F ^), 从而估计 （25) 式是最优的，其中函数 ^ n ( A ) 决定于 
(27) 式. 

例4 从受到噪声干扰信号中提取信号. 设 《n = ‘ +加， 其中信号 e = ( ‘） 和 
噪声7/ = ( r ? n ) 是不相关序列，其谱密度相应为 4( A ) 是 /^( A ). 那么 


0 n 



iXn 


巩 A)Z c (dA )， 


其中 


^(A) = /.(A)[/,(A) + /,(A)]®, 


而过滤误差 


EH & I 2 





7T 


1M 入 )/” ( 项 /〆 入 )+ /”( 入 ) 严 d 入 


现在可以将上面得到的解 （25) 式，用来由观测结果 （ fc (fc < n ) 建立变量 6 n ^ m 
的最优估计 e M 其中 m 是 Z 中某给定的数.假设< = ( G ) 是正则序列，其谱密 
度为 


/( A ) = f |$( e — A )| 2 ， 其中 < t >( e - lX ) = f ^ a k z k . 

Z7r k=0 


根据沃尔德分解 




0 


其中 




(&)是白噪声，其谱分解为 





iXn 


Z e (dX). 


因为 


0 n ^m = E[e n+m \H n ^)} ^ E {E[0 n+m |if(Oj|i/n(O} = E[0 n+m |if n (O] 





： *Mn+m)^ (A) ^ (e -iA )Ze(dA) = ^2 a n+m ^ k e k , 

fc=-oo 


而 
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则 


沒 n+m = E 


> : |^ n (0 


•k 


其中 



ik 二会 I e iXk $(\)^{e- iX )dX 


由于 H n U ) = H n ( e )， 可见 


沒 n+m = 〉: a n + m 一 kSfc 

k^n 



+m-fce 


i\k 


Z £ ( d \) 



e 


t\n 


> : a/+ m e 


-tAi 


0 


^®( e - a )^( dA ), 


(29) 


其中少 ® 是少的广义逆. 

于是，我们证明了如下定理. 

定理3 如果被观测的《=(心）是正则序列，则由观測结果 ^( A : < n ) 对变量 
e n+m (均方意义下）的最优线性估计 l + m ， 由下面的公式表示： 

「 e iXn H m ( e - iX ) Z ^ d \). (30) 

•/ —7T 

其中 。o 

H m ( e - iX ) = f >+ m e - a )， (31) 

1=0 

而系数 q 决定于 （29) 式. 

4. 练习题 

1. 在定理1中，去掉 假设： 级数軻幻的收敛半径为 r > 1，而且少( 2 )在区域 
{ z :\ z \ < 1} 内无0点，并且证明定理1仍然 成立. 

2. 证明，对于正则过程， （4) 式中的函数 ^( z ) 可以表示为 


$( 2 ) = V 2 nexp 4- ^ c k z k [ , \ z \ < 


k 


其中 



f e iXk In/(A)dA. 

%/ — 7T 


由此导出一步的预测误差 4 = E 名- 6 I 2 , 由 塞格一 柯尔莫戈洛夫 （ G . Szego - A . 

H . KojiMoropos) 公式 



= 2 n exp 
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给出. 

3. 不要求条件 （22) 成立，证明定理 2. 

4. 设不相关信号0和噪声 r ? 的谱密度分 别为； 

MX) = h x ii+fe!e-^i^ ^ (A) = h x |1 、二呼 . 

基于定理 3, 根据< n ) 的值求量 

沒 n+m 的估计 ^ n + m » 其中 = A + ,// c . 对于 

谱密度 

/^(A) = ^x|2 + e-^| 2 , f v (X) = ^ 

讨论同一问题. 

§7. 卡尔曼-布西滤波器及其推广 

1. 卡尔曼-布西槪型，卡尔曼-布西滤波器从计算的角度，上面给出的由对 
i 的观测，求解非观测分量0的过滤问题并不适宜，因为既然用谱的语言表述，它对 
于自己的实现就要求进行 类似的 处理.在卡尔曼-布西 （ R . E . Kalman - R . S . Bucy ) 
提出的概型中，最优滤波器的综合是用 递推的 方法实现的，从而可能借助数字计算 
设备来实现.决定卡尔曼布西滤波器的广泛应用还有其他原因.在 不假设 (0，0是 
平稳序 列的情况下，卡尔曼布西滤波器仍然能“运用”就是其有广泛应用的原因 
之一. 

我们在下面不仅讨论传统的卡尔曼-布西概型，而且也研究其 推广： 决定 (0,0 
的递推方程中系数可能依赖于全部以往观测数据的情形. 

这样，假设=((‘)，(“)） 是部分可观測 序列，并且 

=(沒 I ( n )， … , O k ( n)) y - ( Ci ( n )， … ，$( n )) 


满足递推方程 

沒 n+i = a 0 ( n ^) ai ( n ^)9 n bi ( n ^)€ i(n 十 1) + + 1), 

Cn+i = 乂 o ( n ，0 + Ai ( n f ^)9 n 4 - 5 i ( n ，0^ i (^ + 1) 4 - B 2 ( n ^) e 2 (n -1-1), 

其中 £ i ( n ) = ( e u ( n )， …， e lfc ( n ))， e2 ( n ) = ( e 2 i ( n )， … ， e 2 f ( n )) 是具有独立分童的 
相互独立 的高斯 向量，并且每一个分童服从参数0和1的高斯 分布； oo ( n ，0 = 
( ao “ n ，《) ，… ， a 0 fc ( n ， O ) 和 ^ o (^,0 = ( i 4 0 i ( n ，0, … ,^ oi ( n >0) 是向量函数，而且这 
些向景函数与€ = 的独立性是“不超前的”，也就是说，对于任意固定的 

n ， a 0 i ( n ，0, •… , A 0 i ( n ^), 仅依赖于 • 矩阵函数 

bi(n^) = ll<4 U (n ，《)||， 6 2 (n，0 = ll^ 2> (n ， OII ， 

B l ( n ^) = \\ D ^( n^)\l B 2 ( n ^) = 11^)( 以 )11， 

ai(n,$) = l|a!))(n ， S )||， 4i(n，0 = Il4j) ( 打 ， Oil 
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的阶数相应地为 k x k,k x IJ x kj x l } k x kj x k , 并且亦“不超前”地依赖于 《.此 
外，假设向量 (0 o ，€ o ) 不依赖于序列 G = (^ i ( n )) 和 e 2 = (^ 2 ⑻). 

为叙述简便，以下将省略“系数不依赖于的提示. 

为使方程组 （1) 有解，假设 

聊 0 || 2 + ||《。|| 2 ) < oo ， (W 2 = 卖 xf，x = (on ， … ， : r fc )) ， 

l a !】)( n ，OI < C, ^ C , 而且如果分 (n ， e) 是 a 0i ,A 0jl b^\b\f y ] , B ^ ] 任意 

函数，则 E|p(n,OI 2 < oo，n = 1 ， 2 ， .... 在这些条件下，对于序列 (0,0 满足 _ n || 2 + 

IlCnll 2 ) < 00，n 彡 1. 

其次，设 jri = a { u ； : 是随机变量心，…，心生成的最小代数， 

并且 

m n = E ((9 n |^), 7n = E[(^ n - m n )( e n - m n )*|^]. 


根据第二章 §8 定理 1， m n = ( m “ n )， … , m k ( n )) 是向童 = (0 i ( n )， … ， ftb ( n )) 的 
均方最优估计量，而 E 7n = E [( 6 n - m n )( e n - m n y ) 是估计误差 矩阵. 对于由方程 
⑴决定的任意序列（^)，求这些变量是相当困难的课题.不过，在如下关于 ( 9 0 ^ o ) 
一个补充条件下，就可以导出和 7 n 递推方程组，其中包含所谓 卡尔曼 一布西 
滤波方程. 关于 ( 6 0 ^ o ) 的这个补充假 设是： 条件分布 P {0 o ^ a \^ o } 是参数为髙斯分 

P {% < •} = ^ (2) 

其中 mo = mo (€ o )，7 o = 7 o (^ o ) 是分布 参数. 

首先证明一个辅助命题. 


引理 1 在上面引进的关于系数方程组 ⑴ 和条件 （ 2) 补充假设下，序列 （ 0，0 
服从条件高斯分布，即条件分布函数 


P{^0 < a 。， … ，久 1 < a n|^n) 


以概率1是 n 维高斯向量的分布函数，其分布的均值和协方差矩阵都依赖于&，•••， 

证明我们仅限于证明分布 P { e n ^ a n \^ n } 的髙斯性，因此只需导出 mn 和 
7 n 的方程. 

首先注意到，由 （1) 式可见条件分布 

P {〜+1 < a ,$ n+i < x \^ n ,6 n = 6} 


是高斯的，其均值向量为 


Ao + A16 = 


( a。 + a\b 

Aq -f A\b 



而方差矩阵为 


§7. 卡尔曼-布西滤波器及其推广 
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/ bob bo B \ 

B = [ | ， 

( J 3 。 B )) 

其中 bob ^ b\b\ -h b^b^ybo B — b\B\ -f hB; 、 B o B = Bi 4- B2B2 - 

记 Cn = (“）和 f = Gi， … ，k+z)， 则 

E[exp{irCn+l}|^ r n^n] 

=exp |it*[A 0 (n,^) -f Ai(n ， 0^n] - . (3) 

现在，假设对于某各 n > 0,引理的结论成立.那么， 

E[exp{it* A! (n， |^] 

= exp |irA l (n 1 ^)m n - i^[Ai(n,^) 7 n A*(n,^)lf | . (4) 

证明当将 n 换成 n + 1 时 （ 4) 式仍然成立. 

由⑶式和⑷式，有 

E[exp{irCn4-i}l^l] 

= expjif* [A 0 (n，O + A“n，On] — -—丰 [Ai(n，07„AX)j(}. 

因此，条件分布 

P{^n+1 ^ a ，《 n +1 彡 x\^i} (5) 

是高斯的. 

像证明正态相关性定理（第二章 §13 定理 2) 时一样,验证存在矩阵 C ， 使向量 

ri = K+i - E(‘ +1 |^t)] - C[^ n+1 - E(( n+1 |J^)j 
以概率1具有 性质： 

E{r?[€ n+l — 

由此可见，在的条件下，条件高斯向量77和心 +1 相互独立，即对于任意>1 € 
和5 e ^( R l ), 以概率1,有 

P{ve A^ n+l e B\^ n ) = p { ^ € A \^ n } x P{e n+ i € 

因此，对于任意 s = (si, … t)， 有 
E[exp(i5^ n+ i)|^，Cn+i] 

=E{exp (i ， [EU<) +r/ + C[“ +1 -EU<)]]) |^^ n+ i} 

=exp {is* [E(<9 n+1 |^) 4 - C[^ n+1 - E(^i|^)]]} E[exp{is*r])\^i^ n ^i] 

=exp {is* [E(6> n+ i|^) + C[^ n+ i - E(^ n+ i|^)]]} E[exp(i/ry)|^tl. ⑹ 
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根据 （5) 式，条件分布函数1>切< 是高斯的.这连同 （6) 式，就证明了条 

件分布 P {〜 +1 彡 a \^ n + l } 也是高斯的. 口 

定理1 设 (^0 是满足 （1) 式和⑵式的部分观测序列.那么， ( m n ,7 n ) 服从 


下列递推 方程: 



… n + 1 

= [ a 0 + aim n \ 

+[fc o B a\y n A\][B o J3 + i4i7 n v4i]®[^ n +i — Aq — A i m n ], 

⑺ 

7 n 4 l 

— [ ai 7 n aT 十 bo 叫 



-[boB -b aiy n Al]\B o B + ^4i7n4i) 0 [b o -B -f ax^ n A\Y. 

⑻ 

证明由 （1) 式，有 



E(^ + i = a 0 + a\m ny E(^ ?l+ i|^) = A 0 + Aim n 

⑼ 

和 

沒 n +1 
《 n +1 

- E(^ n+ i|^) = a { (0 n - m n ) 4 - bi£ { {n + 1) + b 2 e 2 (n + 1), 

— E (“+ i |^"5) = A\(6 n — rn n ) + B\e\{n + 1) + 召約 … + 1). 

(10) 


引进记号: 


d \\ = cow ( e n ^ uO n + i \^ n ) 

= E {\0 n+l - E (〜 +1 |，^) p n+1 - 

d\2 = cov(6> n+ i,^ n+ i|^) 

=E{[^ +1 — E(6 n ^im n ^ - E(^ +1 |^)]^|^}, 

^22 = ^ v (^n+l» 4n+l l*^n) 

= E {Kn + l - E(^ n+ i|^^)][^ n +l - E( 《 n +i|^^)]*|^^}. 

那么，由 （10) 式，得 

d \\ = - i - bob , d\2 = « i 7„ i 4 J -h bo B , d^2 = ^4 i 7 n^i - B o B . (11) 

由正态相关定理（见第二章 §13 定理2和练习题4〉，有 

爪 n+l = E(^ l+I |^^，“+ 1 ) = -f rfl2^®2^n+l - E(^ n+ j 

和 

"Yn+1 = COV(Pn+l ， 〜 +1 1^^ ， €n+l) = ^11 — ^12^^2^12* 

将 （9) 式中的 E (‘ +1 ^ t ) 和 E (^ n +1 |^), 代入上面 m n +1 的表达式，将 （11) 式中 
的 d lu d ^ d 22 , 代入上面 7 n + i 的表达式，即可得到欲证明的递推方程 （7) 和 （8) •口 
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系1如果在方程组 （1) 中，所有系数 a 0 ( n , a …，丑 2( n ，0 都不依赖于 C 则相 
应的概型称做卡尔曼-布西概型，而关于和 7 n 的方程 （7) 和 （8) 称做卡 尔曼- 
布西滤波器.需要强调，在这种情况下，条件误差矩阵 7 n 的等于无条件矩阵，即 

7n = E7n = El(0 n - m n )(0 n - m n )*]. 

系 2 假设对于部分观测序列 ( e n ^ n ), e n 满足 （1) 式的第一个方程，而满足 
方程： 

匕=- 1,^) 4-^ i(n - l ,^)6 ^n 

+Bi(n — 1 ，《 ) 幻⑻ + B 2 (n- l ，《 )£ 2 (n). 

那么，显然 

€n+i = 2o(n ，《） + ii(n ， 0[ao(n，0 + a\(n,0^n + h ( 打 Oi(n + i) 

+ 6 2 (n ，《 )£ ： 2 (n+ l)j + Bx(n^)ex(n + 1) + 5 2 (n ， 02 ( 打 + 1). 

若记 

Ao = Aq A \ ao , A \ = A \ a \^ 

B\ = A\b\ -f Bi, B2 — A262 + 否 2 ， 

% 

則所考虑的情形也属于概型 （1)， 而且和％满足方程⑺和 （8). 

2. 最优线性滤波器的结构 现在 考虑线性概型 （对照 （1) 式） 


0 n +i = a 0 + ai$ n -f a 2 ^ n + b\S\{n + 1 ) + 62 ^ 2 (^ + l)i (U) 

€n+l = Ao + A\0 n -h A2^n + + 1) + ^ 2 ^ 2 (^ + 1)? 

其中所有系数 a 0j ••- , B -2 可能依赖于 n (但不依赖于 <0,而且〜⑻是 E 6 tJ (? i ) = 0 
和 Eefj ( n ) = 1的独立髙斯随机变量. 

假设方程组 （13) 在初始条件（外，《0)下求解，而且条件分布 P {^ o ^ a |^ 0 } 是参 
数为 mo = E (^ ol ^ o ) 和 7o = cov (^ 0 ,^ ol ^ o ) = E70 的高斯分布.那么，由于正态相关定 
理以及⑺和 （ 8 ) 式， m n = E ( e n \^ i ) 的最优估计量是心， 6 ，.-，匕的线性函数 • 
由以上讨论的结果，在不要求高斯性的情形下，可以证明关于 “ 线性滤波器结 
构”的如下重要论断. 

定理2 设 （AO = (0 n ^ n ) n ^ o 是满足方程组 （ I 3 ) 的部分被观測序列，其中 
eijin ) 是不相关随机变量，且 E 〜 ( n ) = 0 和 E 吃 ( n ) = l ， 而初值向量（知，心）的分量 
具有有限二阶矩•那么， m n = 的最优线性估计量兩 n = (“6, …， 《 n ) 

满足方程（7)，其中 


ao ( 打 ，0 = a 0 (n) + a 2 (n)$ n> 乂 0 ( n ，《） = A 0 (n) 4- A 2 (n)^ ny 
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而误差矩阵今= E [(^ - m n )( O n - m n y ] 决定于方程⑻，其初始条件为 

ffio = cov (^ j ，《 0 ) cov ®(《 0 ，€ o )《 0 , 

7o = c.ov(0o^o) - cov(e 0 ^o)cov e (^o^o)co\^ (6»o, ^o). 


(14) 


定理的证明需要下面的引理.在建立最优线性估计时，引理说明高斯性作用. 
引理 2 设 (a,/?) 是二维随机向量、且 E(a 2 + P 2 ) < oo, 而 ( aj ) 是与 （ a ， /3) 

具有相同一阶和二阶矩的二维高斯向量，即 

Ea l = Ea\ = E(3\ i = 1 ， 2 ， E50 = Ea/3. 

设 A (6) 是 6 的线性函数，且 


X ( b ) = E ( a \ f3 = b ). 

那么， A (/?) 是由 0 对 a 的均方最优线性估计，即 

E ( a |/?) = 聯 

这时 EA (/3) = Ea . 

证明首先注意到，由正态相关定理，可见存在线性函数 A (6): A (6) = E ( a\P 
b ). 其次，假设是另外一个线性估计，那么 

E [ a - A (/3)] 2 ^ E [ a - A ( i 9)] 2 , 

而由于估计量 X ( b ) 和 A (6) 线性的，以及由引理的条件，有 

争 

E [ a - X ( p)] 2 =： E [5 - \ 0)} 2 ^ E[a - A ( j 3)] 2 = E[a - A _ 2 , 

于是，证明了 A (灼在线性估计类中的最优性.最后得 


EA (/3) = EA ( y 3) = E [ E (5|3 f )] = 
证明定理2与方程组 （13) 同时，考虑方程组: 



Ea . 


• 

0n+i = a。 + d\ 0 n + a2《 n + b\ei\(n + 1) + 62^12(^ + 1 )， 

Cn+l = A) + + + B\€ 2 \(ji + 1) + 丑 2?22 (打 + 1 )， 


( 15 ) 


其中 e tJ ( n ) 是独立高斯随机变量， Elijiri ) = 0和 E ^( n ) = 1. 假设（、&)是高斯 
随机向量，有与（知，心)相@的一阶矩 f 协方而且不依赖于 e tj ( n ). 那么，由于方 
程组 （15) 是线性的，向童（‘…，“..•，&)是高斯的，即由引理2 (确切一点说， 
由定理2的明显的类似)，以及正态相关定理，可以得到定理2的结论. 口 



. 卡尔曼-布西滤波器及其推广 


3 .例下面是应用定理 1 和定理 2 的例子. 

例 1 设沒= (‘） 和 n = ( 7 / n ) 是两个（弱）平稳不相关随机序列，= Er /„ = 
0 ,而其谱密度相应为 

副 = 5 | l + 6 Te ^ A | 2 , /r?(A) = 5 |1 ■ The -呼， 

其中 Ihl < l ,| b 2 | < 1 . 

下面将把 0 视为有用信号 ，而 r / 视为噪声，并且假设对序列《= (<„) 进行观测 

- f - Tf n . 

根据 §3 定理 3 的系 2 ,存在（互不相关的）白噪声 q = ( ei ( n )) 和 e 2 = ( e 2 ( n ))， 使 


On+l + Mn = £： l(n + 1) ， T] n + i -f* Mn = Q(n + 1) 


那么， 


十 i = 0 n+ \ 4 - rj n+ \ = - biO n - b 2 T]n + £\(n + 1 ) 4 - ^(n + 1 ) 
= 一? >2( 沒 n + ” n )— 沒 n (6 l - 办2) + + 1) + £2 ( n + 1) 

= 一办2& _ (办 1 一 办2)沒 n + (n + 1) + £^(n + 1). 


这样，对于 0 和 ^ 有递推公式 


汐 n +1 


bi 沒 n + (n + 1)， 


《 n +1 = - (办1 一 ^2)0 n - + + 1) + £ 2 (^ 4 - 1). 


( 16 ) 


而根据定理 2 , • • •，《 n ) 和今 = 旬〜一 rhn ) 2 满足如下最优线性滤 

波器的递推方 程组： 


^in+i = -hm n + 心 - ^2^7 ^ n+1 + (& 1 一 & 2 ) mri + ^ 2 ^ n l 


7 n+l = t ? 7 n + 1 - 


[1 +& 1 (办 1 -& 2 ) 7 n 卩 
2 -f ( 6 i - 办 2 ) 2 7 n 


( 17 ) 


现在求为解该方程组所需要的初始条件 mo 和 70 .记山 ，==Eeldn = E 6 n ^ 
d 22 = Eg , 那么由 （16) 式，可见 

c^ii = 办 fdii + 1， 

d \2 = b \( b \ — 62)^11 + 6 孤 &2 山 2 + 1 ， 

(I22 — (^1 &2) 2 dii + 62^22 4 - 2^2 ( 办 1 一 &2) 山 2 + 2 ， 


因此 


dll 


r ^? 


，山 2 


1 J 一 2 — 61—62 

r ^ f ， d22 = a - bi ) d-biy 
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从而，由 （14) 式得如下初始数据的值: 


m 0 


^22 




\-b 2 2 
2 — 61—62 




7 o = d \\ 


^12 

^22 


_1_1 ~ ^2 _ 

1 — （1 — 6f)(2 — bj — 62 ) 


( 18 ) 


2 - 6? - 62 


这样，由&，6, … ，匕对信号〜 的 M 优 (均方）线性估计和均方误差％， 
决定于递推方程组（17)，并且对于初始条件 （18) 求解. 需要指出， 7 n 的方程不含 
随机分量，从而，求的数值所必须的 7 „的值可以事先（在解该滤波之前）计算 
出来. 

例2这个例子从下面的角度可以借鉴:它说明定理2的结果，在序列队0月艮 
从不同于方程组 （13) 的（非线性）方程组时，如何用于寻找最优线性滤波器的问题. 

设 q : ( q ( n )) 和= ( e 2 ( n )) 是两个独立高斯随机序列，由独立随机变量构 
成，且 Esj ( n ) = 0 ，Eef ( n ) = l，n 彡 1. 考虑随机序列偶(0，《）=(沒 n ，《 n ), 打彡0,其中 


0 n+ i = aO n + (1 + 0 n ) e\{n -f 1), 

Cn-fl = n + £ 2 (” + 1). 

假设0。 不依赖于(幻，尽2)，且沒 。〜 ^( m 0 ,7 o )» 

方程组 （19) 是非线性的，故不能直接运用定理 2. 然而，如果设 


(19) 


? i ( n + 1) 


1 + 

WTW 


ei ( n + 1), 


则易见 E 6( n ) = 0, Ee !( n ) ei ( m ) = 0( m ^ n ), Ee ?( n ) = l . 所以与 （19) 式同时，原序 
列 (0,0 也满足线性方程组 


没 n+l = a! 沒 n + b 1 {ti) £ 1 {fl 1 ), 

1 = A 沒 n + 芒2(打 + 1)， 


( 20 ) 


其中 6 i ( n ) = ^^(1 + 0 n ) 2 , 而 {? i ( n )} 是某一两两不相关随机变量序列 • 

方程组 （20) 是形如 （13) 的线性方程组，即根据定理2,最优线性估计量而 n = 

及其误差5可以由方程组⑺，⑻决定，在这种情形下方程组 
(7), (8) 有如下形式： 


m 


n+1 


dirhn + Kn +1 一 M ^ n ]^ 


7n + i = [a?7n + fr?(n)] 


( ai > ti 7 n ) 2 

1 + A \% J 


其中 b { ( n ) = JWXTe ^ 应由方程组 （19) 的第一个方程来求. 
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例3 麥数估计设沒=( 01 ， . • • ，％)是高斯向童，且 Ed = m 和 cov (0, fl ) = 7 

假设卜 (60， n 彡0,是 f 维随机序列，且 


^n-H = ^o(n, 0 -f Ai(n, ^)0 + B\ (n, ^)e x (n + 1), 


( 21 ) 


其中 ^ 的含义与方程组 （1) 中的含义相同.现在对于己知的 m 和 7 ,欲根据对$的 
观测结果，求 P 的最优估计. 


那么，对于 


E (0| 夕 1) 和 7 n ，由⑺， （8) 式，有 


mn +1 = mn +7n>lt(n, 0((^1 + ^i( n >07n^I(n^)] e 

x [ Cn+i - Ao ( n } ^) - Ai ( n ,0^ n ], 

7n+l =7r» ~ 7n-4*(n, 0((^1 Bi)( n »0 + A 1 ( n i Ol^Ai (n, 07n. 

如果 B , Bl 是非退化矩阵，则方程组 （22) 的解为 


( 22 ) 


L t=o 


(23) 


t =0 


7 n + l = 五 + t £)4(<,0( 执珥) 7, 


i =0 


其中 f ; 是单位矩阵. 

4. 练习_ 

1. 证明，对于概型（1)，向量 mn 和心 - mn 不 相关： 

Em* (d n - mn) = 0 . 

2 . 设概型⑴中的70和所有系数（或许除系数 oo ( n ,0,4)( n ,0 外）都与“随机 

性”无关（即不依赖于《).证明条件协方差 > 也与“随机性”无关: = E 7 n . 

3. 证明方程组 （22) 的解由公式 （23) 表示. 

4. 设(^, 0 = ( 9 n ^ n ) 是高斯序列,满足概型 （1) 的如下特别 形式： 

〜+1 = a 〜 + tei(n + 1 ) ， f n+ i = AO n -H Be 2 (n + 1 ). 


证明，如果 4 # 0,6 / 0, 石 / 0, 则极限过滤误差 


lim 7 n 存在，且为方程 




62 7 -学 
■ 


的正根. 
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5. (内 插； [4 U 3.31) .设 (0,0 是部分可观测序列，且服从递推关系式⑴和 （2). 
设向量的条件分布 


7 r 0 ( m , m ) = P{e m < a | F ^} 


是正态的. 

( a ) 证明，对于 n 彡 7 U , 条件分布 

7 r a ( m ， n ) = P {0 m < a\^i) 


也是正态的， 7 r a ( m , n ) ^ W (/ A ( m , n ), 7 ( m ,? 0 ). 

( b ) 求随机变童(关于 ^ n ) 的内插估计和矩阵 7( m » n )- 

6. (外 推； [41,13.4]). 设关系式⑴和 （2) 中的变量为： 

ao ( n ，0 = a 0 ( n ) + a 2 ( n )^„, a “ n ，0 = a x ( n ), 

Ao(n,0 = A)(n) + A 2 {n)^ n , Ai(n^) - Ai(n). 

( a ) 证明，在这种情形下 （w > m )， 分布 7 r a ，6( m ， n ) = P { 0 m ^ ^ 6|*^} 是 

正态的. 

( b ) 求外推估计量 

豕|<)和 E . 

7. (最优控制； [41,14.3]). 考虑“被控制”部分观测系统 ( 0 n ^ n ) o ^ N , 其中 


沒 n+1 = Un + + b£\(n -h 1 ), 

= 0 n + e2(n + 1). 


这里， “控制” Un 为可测，并且对于一切0彡 n < iV - 1， E < <随机变 
量 Mn ) 和 S2 ( n)，n = 1，…， JV 的含义与方程组 （1) 及等式 （2) 相同； & = 0,% 〜 
iV(m ， 7). 

我们称“控制” V = (%，…是最优的，如果 


V{u*) = sup V ( u ), 


其中 V(u) = E 


N 


(ex)+^ 


0 


证明: 

其中 


< =-[1 + Pn+l] + Pn-k-l^ni n = 0 , … ,N -l, 
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且 ( PnW ^ N 决定于如下递推关系式： 

Pn ~ - P n-f-1 — + P ri+lj. ， "P/V = 1 ， 

而 (^ n ) 决定于关系式 

7< +1 =<+ 7 ；(1 + 7 ； ) + fe +1 - m；), 0 < n < W - 1 ， 

其中 mj = m , M 7 o = 7, 

7； + i =7； + 1-(7；) 2 (1+7；) + , O^n^N-1. 
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§1. 鞔和相关概念的定义 （110) 

1. 这一节的研究对象——《 (110) 

2•鞅（下韈）的概念⑦ （110) 

3. 马尔可夫时间 (111) 

4. 局部鞅和鞅变換 (113) 

5. 博弈与数学概念“敎”的产生 ( H 5) 
6•鞅-差 (116) 

7. 下鞅（上鞅）的构造 (117) 

8. 局部鞍是鞅的条件 (119) 

9. 练习题 (119) 


§2. 在时间变置为随机时间时軼性的不变性 (120) 

1. 杜布定理 (120) 

2. 杜布定理的特例 (123) 

3. 基本瓦尔德恒等式 (124) 

4. 更新理论的基本定理 (129) 

5. 练习题 (130) 

§3. 一 些基本不等式 (132) 

1. 概率的最大不等式和中的最大不等式 (132) 


①按“全国科学技术名词审定委员会”审定公布 定名： submartingaie 为“下鞅” 


译者 
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2. 最大概率及中綾大范数的估计式 (135) 

3. 鞅的不等式 (137) 

4. 下鞅的极限平均“振动”次数的上界 (141) 

5. 二次可积鞅大偏差概率的估计 (143) 

6. 二次可积軼与其二次特征最大比 值概率 的估计 (145) 

7. 练习题 (146) 

§4. 下鞅和鞅收敛的基本定理 （14 S ) 

1. 有界单调鞅序列极限的存在性 （ W 8) 

2. 鞅几乎必然收敛也是在 L 1 上平均收敛的条件 （149) 

3. 鞅一致可积的充分和必要条件 (150) 

4. 应用列维定理的例 (151) 

5. 练习题 (154) 

§5. 下鞅和鞅的收敛集 (155) 

1. 随机序列类 C 十 (155) 

2. C f 类非负鞅的性质 (157) 

3. 平方可积鞅的性质 (159) 

4. 级数 S 匕的收敛集合 (163) 

5. 练习题 (164) 


§6. 概率测度在带滤子可测空间上的绝对连续性和奇异性 (164) 


1. 测度的局部绝对连续性和奇异性 (164) 

2. 应用绝对连续性和奇异性准则的例 (168) 

3. 测度的绝对连续性和奇异性与“可预测性” (169) 

4. 哈伊克-费里德曼择一性 (172) 

5•例 (176) 

6. 练习题 (177) 

§7. 随机游动越出曲线边界的槪率的渐近式 （177) 


1. 概率 P{r > n } 的渐近式 (177) 

2. 定理】的证明 (178) 

3. 双侧界限的情形 (181) 

4. 练习题 （182) 


§8. 相依随机变量之和的中心极限定理 (182) 

1. 函数的中心极限定理（ I 82 ) 
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2. —致渐近可忽略性 (184) 

3. 定理 I 的证明 (185) 

4. 辅助命题 (191) 

5. 定理2的证明 (192) 
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鞅论很好地描绘数学概率论形成的历史——鞅论的基本概念，是受博弈实践的 
启发引进的，但是后来这些概念成为现代數学非常精细的工具之一…… 

J . L . 杜布 （ J . L . Doob ) 《什么是 鞅?》 [127] 


§1. 鞅和相关概念的定义 

1. 这一节的研究对象 一- 鞅在概率论中，用各种不同的方法研究随机变量 
之间的相依性.在（弱）随机序列的理论中，基本特征是协方差函数，而且该理论的 
一切结论完全决定于协方差函数的性质.在马尔可夫链的理论中（第一章§12和第 
八章)，基本特征是转移函数,它决定由马尔可夫相依性联系的随机变量的演变. 

在这一章（亦见第一章 §11) 将引进相当广泛的随机变量序列类（鞅及其推广)， 
而关于其相依性的研究，利用基于条件數学期望性质的研究方法. 

2•鞅（下較）的概念假设给定一 带过滤 （流）的概率空间 （ Q , 叉, P ), 所谓过 
滤（流）即 a -代数族（义几其中少 n，n > 0,而且，0 g Q …^ (“过滤概 
率空间”). 

设為，&，…是概率空间 （ n ， 艾， P ) 上的随机变量.如果对于每一个 n > 0 , 变 
量 忍是义 n - 可测的，则组合 X = ( X n ^ n ) n ^ 0 或简记 X = ( X n ,， n )， 称之为 
随机序列. 

假如随机序列 X = ( A n ,^ n ) 还具有 性质： 每一个 n 彡1,变量是 ^ n -1 - 
可测的，则记作叉=(乂， 义 n -1)， 并且设1 =^0. 这时称 X 为可预测随机序 
列. 序列 ( X n ) n ^ o 称做递增的,如果不> = 0且忍< X n+1 (P - a . c .). 

定义1随机序列 X = ( X n ^ n ) 称做鞅（下鞅)，如果对于一切 n 彡0,有， 

E \ X n \ < oc , (1) 

E ( X n+1 |^ n ) = X n ( P - ax .). (2) 

o ) 

随机序列 X = ( X n ，， n ) 称做上鞅，如果序列 -X = (- X n ，， n ) 是下秩 • 

在特殊情形下，假如义 n = 其中，？ = a ( Xo , … , X n ), 并且随机序列 

X = ( X n ,^ n ) 是鞅（下鞅)，则称序列 ( X n ) n ^ o 本身是鞅（下鞅 )• 

由条件数学期望的性质，容易证明,条件 (2) 等 价于： 对于任何 n > 0和 Z e 
有 

f X n+1 dP = f X n dP . ⑶ 

Ja j a 
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例1设 (^ n ) n ^ O 是独立随机变量序列， E |^| < 00,坎。= 0, A = 6 + • • • + 
? n ,^ n =^0, •• - ,^ n ), 则随机序列 X = ( X n ^ n ) 是铁. 

例 2 设 ( Cn ) n ^ O 是独立随机变量序列， E 心=1,则随机序列 X = ( X n ^ n ) 
也是鞅，其中 

n 

x n = =吨0, … Xn ). 

k^O 

例 3 设 4 是随机变量序列， E |《| < 00 ,而多 0 £ Q … Q ，则随机序列 
X - ( X ny ^ n ) 是鞅, 其中 Xn = n ) (称做列维 （ P . P . L 4 Vy ) 鞅) • 

例4如果 (^ n ) n >0 是非负可积随机变量序列，则序列 （忍） 是鞍，其中忍 = 

《0 +… + € n . 

例5设 X = ( X n ^ n ) 是鞍，而咖）是凹（向下凸）函数，且 E \ g ( X n )\ < 
oc , n 彡0,则（由第二章§6的延森 （ I . L . Iensen ) 不等式可见）随机序列 (^( X n )^ n ) 
是下鞅. 

假如 X = ( X ni ^ n ) 是下鞍，而夕⑷是凹函数，且对于一切 ， n > O y E \ g ( X n )\ < 
00 ,则随机序列 ( g ( X n )^ n ) 也是 下鞅. 

在定义1中所作的假设 EH 1 < 00,保障条件数学期望 E ( X n+1 |^ n ),n > 0, 
的存在性.不过，在不要求 E ( X n+1 | < 00 的情况下，这些条件数学期望也可能存 
在.我们知道根据第二章§7, E « +1 |， n ) 和 E ( X - +1 |^ n ) 总有定义，如果（若 
P ( AAB ) = 0,则以 A = B (P - a . c .) 表示） 

{ u : E ( X ^ x \ J ^ n ) < oo }| J {^ : E ( X - +1 |^ n ) < c »} = n (P - a . c .)， 

那么称 E ( X n +1 |^ n ) 有定义，且根据定义设 

E ( X n+1 |^ n ) = E « +1 |， n ) - B ( X - +1 |^ n ). 

由此可见，下面的定义是自然的. 

定义2 随机序列 X = ( X n ? ^ n ) 称做广义鞅（下鞅)，如果对于一切 n 彡0,有 
EjXol < oo , 而且 E ( X n +1 |^ n ) 有定义，并满足条件 （2). 

注意，由该定义可见，对于广义下鞅 E ( X - +1 |^ n ) < 00 ,而对于广义鞅 
E (| X n+1 ||^ n ) < 00 ( P - a . c .). 

3. 马尔可夫时间下面的定义引进的马尔可夫时间的概念，在以后介绍的全部 
理论中有十分重要的作用. 

定义3在集合 {0, 1,…， - foo } 中取值的随机变童 r = T ( o 0, 称做（关于 cr -代 
数族 (， rt ) 的）马尔可夫时间或“不依赖于将来的随机变量”，如果对于每一个 n ^0, 

{r = n } € ^ n - ( 4 ) 

对于 P{t < 00 } = 1的情形，马尔可夫时间 t , 称做伴止 时间. 
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设 ； c = ( X ny jr n ) 是一随机序列，而 T (关于 a - 代数族 { ST n )) 是马尔可夫时 
间.记 

oo 

X r ( a ；) = ^ X nM /{ r = n>H 

n=0 

(于是 Xoo = 0,即在集合 { a ; : r = oo } ± = 0). 

那么，对于每一个 Be 力 ( R ), 

OO 

{u : X r E B} = {u) : Xoo 6 B,t = oo } 4- y^{cJ : X n 6 B,r = n } € 

n =0 

从而 Xr = ^ r ( a ;) M 是随机变量. 

例 6 设 X = ( X n ^ n ) 是一随机序列，而 S € J ^( R ). 那么，（首次到达集合 
B 中的）时间 

tb = inf{n ^ 0 : X n £ B} 

(当 {•} = 0时 a = + oo ) 是马尔可夫时间，因为对于任何 n 彡0,有 

{tb = = {^o + B 、 … 、 X n -\ 丰 B 、 X n e B) n . 


例 7 设 X = ( X n ,， n ) 是鞅（下鞅)，而 T (关于 cr - 代数族（少 n)) 是马尔可 
夫 时间. 那么，“停止”序列 XT = ( X nAr> ^ n ) 也构成鞅（下软) • 

事实上，由关系式 


w w • 

■ XViAt .= 〉: ^ ml { r = m } = ^ nl { r ^ n } 


可见，随机变量 X nAT 为 ， n - 可测的和可积的，且 

义 (n 十 1)At 一 -^nAr = ’ {r>n} ( 义 n+1 一 ^n) 


由此可见 

E[Jt( n +i)Ar - X n ^ r \^n] = ^{r>n}®[-^n+l \^n] ^ 0* 

与每一个^ _代数族 ( jr n ), 及关于 ( jr n ) 的马尔可夫时间 T , 可以与一集系 

^ T r = {A € ^ : AC\{r = n }€ ^ n , 对于—切 n ^0} 

相联系.显然 fl € 和少 V 关于求可数次并运算 封闭. 此外，如果4 e 夕^，则 

3 n{ r = w } = {r = n }\(^4 pl{ r ― n )) ^ ■多 n 、 

故 Z € 多％.由此可见是 tr - 代数. 

如果把多 n 视为在时刻 n (包括 n ) 之前观测到的事件的全体， 那么少 r 可以 
视为在“随 机，， 时间 t 观测到的事件的全体 • 

不难证明（练习题3)，随机变量 r 和 X T 是多％ -可测的 • 
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4. 局部鞅和鞅变换 

定义4称随机序列 ； f = ( X n ^ n ) 为局部鞅（局部下鞅)，如果存在（局部化 
的）有限马尔可夫时间序列: r k ^ r fc + i(P - a . c .), r k t oo(P - a . c .)， A : — oo , 
且每一个（“停止”）序列= ( X TkAn J { n > o } ,， n ) 是鞅（下 鞅). 

下面在定理1中证明，实际上局部鞅类与广义鞅类等同.此外,每一局部鞅可以 
借助于所谓鞅变换，由某一鞅和某一可预测序列得到. 

定义5设 Y = ( Vn ^ nWo 是随机序列，而 V = ( Vn ,^ n ) n ^ 0 是可预测序列 
(^.1 - 少 0). 随机序列 V • y = ((V • y ) n ^ n ), 其中 

n 

{V • Y) n = ( 5 ) 

tsl 

而 av ; = y ; - v ;」 ，称做 r 由 k 的 变换. 此外，如果 r 是鞅（或局部鞅)，则称 k • y 
为鞅变換. 

定理1 设 X = ( X n ^ n ) n >0 是随机序列，其中 X 0 = 0 (P - a . c .). 下列各条 
件等价： 

a ) X 是局 部鞅； 

b ) X 是广 义鞅； 

c ) x 是鞅变換，即存在可預測序列 v = ( v n ,^ n ) n ^ o(Vo = 0), 和鞅 y = ( y „， 

叉 n ) 吣0(% = 0)，使 x = n 

证明 a ) => b ). 设 X 是局部鞅，而 { T k ) k > l 是局部化马尔可夫时间序列.那么, 


对于任何 m 彡 0, 

% 

E[l-Y m Arfc |^{rjt>0}] ^ 

(6) 

从而 

E[|*^(n+l)Arfc|’{r/k>n}] = ®[I^M+ll^{r fc >n}] ^ °°* 

⑺ 

随机变量 I { Tk > n ) 

是可测的.因此由⑺式可见，有 



®(l^n+l|^{r fc >n} ^ n] = ^{r fc >n}E[|X n 4.l||*^n] < 00 — a - c *)* 


这里， I(r k >n) — 0 (P - a . c .), k -4 00 ,因而 

E [| X n ^||^ n ]<oc (P - a . c .). (8) 

由于这一条件，知 E \ X n ^ n ) 有定义，故只剩下证明 E ( X n+1 |^ n ] = X n ( P - a . c .). 
为此，需要对于4 € 心 ，证明 
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由第二章§7练习题7知， E [[ X n+1 ||^ n ] < oc ( P - a . c .), 当且仅当测度 

^ n + ldP , Ae^ n 

是 a -有限的.现在证明测度 L | X n | dP , A € J ^ n , 也是 a - 有限的. 

由于 X T * 是鞍，故 | X T M = (| X r , An |7 { Tfc >0 },^ n ) 是下鞅，从而 （{ rA ； > n } € ^ n ), 

[ | X n |dP = / | X nAT J/ {T . >0} dP 

J AD { ri e > n } J Ar \{ rk > n ) 

( f 1义(^1+1)八7'*：1了{7^>0} ( ^1 > = / |^ n+l |<1 P - 

J AD { Tk > n ) •/ An { r * f > n } 

令 fc -MX), 得 

/ \ X n \dP < / | X n +1 | dP , 

Ja Ja 

因此就证明了测度么 X n +1 dP , A € ^，是 a - 有 限的. 

设 A € 灭，使焱 iX n +1 | dP < oo . 那么，根据勒贝格控制收敛定理,可以在下列 
式子中求极限: 

f X n dP = f X n + idP , 

J AD { rk > n } J > in { rk > n } 

而由于是局部鞅，可见求极限是合 理的. 从而，有 

X n dP = 

而且对于任意4 e ^ n ,/ A | X n +1 | dP <00. 由此可见，对于任意>1 € ^ n , 上面的等 
式成立,从而 Fj [ X n + i \^ n ] = X n (P - a . c .). 

b ) 令 C ). 设 AXn = X n - X n ^ i,Xo = 0; Vo = 0,14 = 彡 1 ); 记 

= 0 和 = f ： WiAXiin ^ 1). 显然 

t=l 

EdArnil^n-i] ^ 1, E[AK|， n -ij = 0 ， 

从而 ， y = ( Y n ^ n ) 是鞅, 其次 x 0 = y 0 - y 0 = o , A (^. y) n = AXn. 于是 x = v . y . 

c ) 々 a ). 设 A ： = V • y ，其中 V 是 可预测 序列， y 是鞅，而 Vb = Yb = 0•记 






r/c = inf{n 彡 0 : \V n+ i\ > k}, 
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且当集合 {•} = 0时 k = OO . 由于 仏 +1 是可测的，可见对于每一个 
变童 U 是马尔可夫时间. 

考虑序列 A：n = ((V • Y ) nATk I {Tk>0} ^ n ). 

在集合 {T fc > 0} 上 | K , At ,| < fc . 故对于任意 n > 1,有 E |( V . y ) nAr ,/ { T ,> 0 >|< oo . 
其次,对于任意 n > 1，有 

E{[(V • y ) ( n + l ) Ar .-( V . y ) nArJ / { r ,>0} l ^ n } 

= -^{rfc>0}^(n+l)AT4®{^(n+l)ATi ~ ^nAr*. n\ ~ 

因为（见例 7) E{r (n+1)ATfc ~ y n Ar ,|^ n } = 0. 

于是，对于每一个 fc ^ i , “停止” 序列： 是铁,其中 T n T OO (P - a . c .), 从而 
X 是局部鞅. □ 

5. 溥弈与数学槪念“較”的产生 

例8 ( T 7 n ) n ^ i 是独立同分布的伯努利随机变貴，且 P{Vn = 1} = P ， P{Vn = 
- l }=^ P 4- g = l . 假如考虑某项博弈,可以把事件切 n = 1} 视为某选手在第 n 局 
中“成功”（贏),而把事件{% = -1} 视为在第 n 局中“失败” （输〉 • 假设 V n 是第 n 
局的赌注.那么，赌徒经 n 局贏得的总金额（总收益）等于 


ViTji = X n ^i 4- v n rj n , Xq = 0 . 

完全自然，第 n 局的赌注 V n 可依赖于上一局的结果，即依赖于％,•••，仏^和 
r / i t ••- 换句话说，如果设 f 0 = (0， n ) 和 / n = cr { rju -- ，如}，则 是 

可测随机变量，即决定赌徒嘴略”的序列 V = ( V n ^ n ^) 是可以預 測的. 
若设 y n =爪+…+如，则有 


i=l 

则序列 A： = (X n ,^ n ), 其中 X 0 = 0, 是 r 由 K 的变换. 

按博弈的观点，如果每一步的期望收益 E(x n+1 - X n \JT n ) = 0 ( 彡0或彡 0), 则 
该 博弈是 公平的 （有 利的或不利 的). 因此显然,博弈是 
公平的， 如果 p = g = 1/2， 

有利的，如果1? > g ， 

不利的，如果 p < g . 

由于序列又 = (X n ，， n ) 构成 
鞅，如果 p = g = 1/2 ， 

下轶，如果 p > q , 
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上秩，如果 p <分， 

则可以认为，关于该博弈是 公平的 （有 利的或不利 的)，对应于关于序列 X 是鞅（下 
鞅或上鞅 

现在考虑特别的“策略”类 K = ( V n , jr n _ i)n>li 其中％ = 1和 



2 n _ l , 

0 , 


若 ”1 = 一 1，." jVn-l — 一1， 
若不然， 


n > 1， 


⑼ 


该式的含 义是： 赌徒从 赌注％ = 1开始，每当他贏一局时就将赌注增加一倍，而每 
当他输一局时就终止博弈. 

假如 Vl = -1， …， = -1,则经 n 局赌徒的总损失等于 


E 2 ^ 1 

1=1 



因此,假如再假设 TM+i = 1，则 

X n+1 =X n 4 - = 一 (2 n — 1) + 2 n = 1. 


记 t = inf{n ^ l : X n = l ). 如果 p = < 7 = 1/2, 即所考虑的博弈是公平的，则 

P{r = n } = P{r < oo } = 1, P { X T = 1} = 1, EX T = 1. 

△ 

这样，甚至在公平博弈的情形下，如果赌徒坚持运用“策略” （9), 他（以概率 1) 经过 
有限时间完全可以顺利的结束博弈，并使自己的赌注再增加一个单位 ( EX r = 1 > 
X 0 = 0). 

在博 弈的实 际中，在输局时加倍赌注而在首次赌贏时停止博弈，所描绘博弈的 
系统称做鞅.也正式由此产生了数学概念“鞅” • 

注在 p = g = !/2的情形下，序列 X = ( X n ,^ n ) n ^ o 是戟，其中為= 0,因而 
对于任何 n > 1, 

EX n = EX 0 = 0. 

因此，假如将考虑时刻 n 换成考虑随机时刻 t ， 则可以指望该关系式仍然成立•以 
后 （§2 定理 1) 会清楚地看到，在“典型”的场合 EX r = EX 0 成立.而这一等式不 
成立（如上面考虑的博弈）的情形，出现在所谓“物理上不可实现”的场合，这时或者 
丁, 或者 | X n | 取的值过分地大.（应该指出，上面考虑的博弈的情形是物理上无法实现 
的，因为它假定博弈时间无限，以及赌徒的初始赌资无限 .） 

6.鞅-差 

定义6随机序列《= (^ n ,^ n ) n ^0 称做鞅-差，如果对于一切 n 彡 0， E | 匕| < 
oo 且 


E(^ n+1 |^ n )=0(P-a.c.). 


(10) 
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由定义1和6可以清楚地看到鞅与鞅-差之间的联系.具体地说，如果 A ： == 
( Xn ^ n ) 是鞅，则《= (< n ， n ) 是鞅-差，其中& = X 0 ^n = AX n , n > l . 同样地, 
如果《= (《 n ，^ n ) 是鞅-差，则义= ( X ny j ^ n ) 是鞍，其中=心+… +《 n . 

按照这一术语，如果 E <„ = 0 ，n > 0,而相应的 (7 - 代数为 f n = «()，••• ，《 n )， 
则任何独立可积随机变量序列《= (^ n ) n ^ O 是鞅-差. 

7. 下鞅（上 鞅） 的构造下面的定理使下鞅（上鞅）的结构更加清晰. 

定理 2 (杜布（丄 L . Doob )) 设 X = ( X n ,^ n ) 是下秩，則存在鞅 m = ( m „， 
少 n ) 和这样的可預测递增序列乂 = ( An ，， n -:), 使对于每一个 n 彡0,有杜布 分解: 

x n = f7i n + A n (P - a-c.). (11) 

而且类似形式的分解 唯一. 

证明设 mo = A ) = 0 ， 而 

n— 1 

m n = mo 4 - [[ A)+i - E ( Xj ^. y \ J r j )], (12) 

j=o 

(13) 

i=o 

这样定义的 m 和 A ， 显然具有所要求的性质.其次，亦设= m ； -f 其中 
m ' = ( m ；,^ n ) 是鞍,而 W 是可预 测递增 序列.那么， 

尤 +1 - A f n = - A n ) 4- (mn+l - mn) - (^n+1 ~ m n)' 

然后在等式两側同求条件数学期望，得 A ； +1 - = A w+1 - A n ( P - ax.) •由于 
Aq- 说明对于一切 n ^ OMn = ^ (P - a.c.) 和 m n = (P - a.c.). □ 

由分解 （11) 可见，序列 A = 补犊 X = ( X m ， n ) 成为铁 • 这说明 

如下定义是合理的. 

定义7杜布分解 （11) 中的可预测递增序列 A = { A n ^ n _ l ) y 称做 （下鞅 X 
的）补偿 • 

如果 EM 2 < oo , n 彡0,则称鞅 M = ( M ni ^ n ) n >0 为平方可积的 • 在研究平 
方可积鞅 M = ( M „, 时，杜布分解起核心作用，因为根据上面的说明随机序 
列 M 2 = ( Ml ^ n ) 是 下鞅. 根据定理 2 ,存在鞅 m = ( mn ,^ n ) 和可预测递增序列 

地 = mn + { M ) n . (14) 

序列 （ A /> 称做鞅 M 的二次特征，并在许多方面决定其构造和性质 • 

由 （13) 式可见， ^ 

(M) n = f^E[(M J ) 2 |F j _ 1 ], 

i=i 


(15) 
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而且对于一切 1认有 

E [(地 - Mi) 2 \^i] = E[A4 2 - M^t) = E[(M) k - (16) 

特别，若 M 0 = 0( P - ax.),WJ 

EAf ^ = E ( M ) k . (17) 

有益地指出，如果 M 0 = 0, M n = 6 + … + $ n , 其中 （ Cn ) 是独立随机变董序列, 
且取,= 0， E ^? < oo , 则二次特征 

( M) n = EA /2 = D 6 + …+ D《 n (18) 

是非随机的，并且等于 M n 的方差. 

如果 X = ( X n ^ n ) 和 y = ( y n ,^ n ) 是平方可积鞅，则设 

( X t Y) n = i [(X -f Y) n - (X - Y ) n ] . (19) 

不难验证， ( X n Y n - ( X , y ) n ,^ n ) 是软，因而对于任意 无， 

E [( X k - X t ){ Y k - ( X , y ),|^ j . (20) 


当； + 和匕：仍+…+加时，其中⑹和⑹是独立随机变 

1：序列，而且阳 = Ew = 0, E ^?< oo . Er ?? < oo , » < X , y》 n 等于 

n 

( X , r> n = ^ COv (6,^). 

t=l 

序列 ( X , y > =： (( X , y > n ,^ n - l ) 常称为（平方可积）鞅 X 和 y 的相互特征•不 
难验证，有（对照（ I 5 )式） 

n 

( x , y> n = 

t=l 

下面两个童在峽论中也有重要作用：一个是二次协方差 

[X.YU^f^AXiAYi, 

另一个是二 次变差 n 

[ X) n = E ( AX ,) 2 . 

t=l 

这两个量对于任何随机变童序列 A ： = ( X n ) n > l 和^ = (^ n ) n ^ l 有定义 • 
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8. 局部 鞅是鞅 的条件鉴于定理1，自然产生一个问题，局部鞅（因而，广义鞅 
或鞅变换）实际上本身也是鞅. 

定理 3 1) 设随机序列 X = ( X n ^ n ) n ^ 0 是局部鞅（其中 X 0 = 0, 或更一般 

地 E \ X 0 \ < oo). 

如果 EXf < oo 小彡 0,或 EX+ < oo ， n 彡 0,则序列； S ： = ( X n ^ n ) n ^ 0 是鞅. 

2 )设 X = ( X n ,^ n ) o^ N (N > 0 ) 是局部鞅，或 EX ^ < oo, 或 EX+ < oo •那 
么 X = ( X „,^ n ) o ^ n ^^ 是秩 • 

证明 1) 证明，若条件 U EJV- < oc ， n 彡 0” 和 U EX+ < oo，n > 0” 中任何一个 
条件成立，则条件 “E|X n | < oo,n > 0” 也成立. 

事实上，假如对于一切 n > 0,EX~ <oc. 那么，由法图 （ F. Fatou) 引理，可见 


EX+ = Elim^ Ar . ^ iimEX+ ATfc = iim[EX nAr , 4- EX ~ ATk ] 

k k k 

n 

=EX 0 + limEX- ATA < |EX 0 | + EX ^ K °°* 

k A :=0 


从而， E \ X n \ < oo，n 彡 0. 

为证明 ( E ( X n+l |^ n ) = X n ,n > 0) 的鞅性，注意到对 于任意 马尔可夫时间 Tfc , 
有 

n 十1 

l^(n+l)Ar/L | = Ei 〜， 

i =0 


其中 


n+l 

E^|X,；| < oo. 

t=0 


因此，由勒贝格控制收敛定理，经在关系式 E(X (n+1)Ar J^ n ) = X 一 中极限 
过渡 （fc — oc,n- t oc(P - a.c.))， 得 E(X n+ i|^„) = X n (P - a.c.). 

2) 假设 EX ^ < oo, 证明对于一切 n < N , EX ^ < oc. 

事实上，由于局部鞅也是广义鞅，可见 Xn = E(x n+1 |^ n ), 其中 E(|U|， n ) 
< oo (P - a.c.). 那么，根据对于条件数学期望的延森 （I. L. Iensen) 不等式（见第二 
章 §7练习题5)，有；^ 彡 E(X- +1 |^n). 因此， EX n " $ EX n - +] ^ EX ^ < oo. 

于是，由命题 1), 可得所要证明的局部鞅X = ( X n ^ n ) 0 ^ N 的鞅性 • 


9. 练习题 

1. 证明条件 （2) 和 （3) 的等价性. 

2. 设 (7 和 t 是马尔可夫时间，证明 t + cr，T V (7, r A a 也是马尔可夫时间，并且 
如果 J < 7•，则 G 多％. 

3. 证明 T 和是 - 可测的. 

4. 设 Y = ( Y n ^ n ) 是鞅（下鞅 ),V = ( V n ^ n ^) 是可预测序列， ( V - y ) n , n ^0 
是可积随机变董.证明是鞅（下鞅). 
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5•设安1 2芡2 2 •… 是非增 （7- 代数族，而 < 是可积随机变量.证明序列 
( Xn ) ny ,其中忍= E ( C |.^ n ), 是逆秩，即对于任何 n 彡1,有 


tj ( X n \ X n ^ i ^ …）= X n ^\ (P — ax .). 

6.设&，&，•••是独立随机变量，且 

P{Ct = 0} = P{^i = 2} = i 和 X n = 

i=l 

证明不存在可积随机变童 € 和非降 a - 代数族 (， n ), 使 X n = E (^ n ). (这个例子 
说明，并不是每一个鞅 (X n ) n>1 都可以表示为 (E (^|^ n )) n ^ 1； 对照第一章 §11 例 3). 

7 •⑷设 6 也 … 是独立随机变量，且对于 n 彡 1 ， E|^| < 00 鳥 = 0, 证明对 
于每一个 k ^ l , 序列 



^ 之 ii • • • ， n ^ k 

1 彡 ii< … <ifc 彡 n 


是鞅. 

( b ) 设6,&，…是可积随机变董，满足 

EU6 ， ". ，《 n) = 6+ . n .+^ (=Xn). 

证明序列&，欠2,…是鞅. 

8. 举一 鞅的例 X = ( X n ^ n ) n>u 而随机变量族 （ Xn ， n 彡 1) 不一致可积. 

9. 设 X = ( X n ) n ^ 0 是马尔可夫链（第八章§1)，且其状态的集合 E ={ ij r -} 
是可数的，而 Pd 是它的转移概率.此外，假设0 =训 x),x e £；，是有界函数，并且满 
足条件 

[ 入 > 0 ， i € E. 

j€E 

证明序列 ( A -^( X n )) n ^ 0 是上鞅. 


§2. 在时间变量为随机时间时鞅性的不变性 

1. 杜布定理如果 X = ( X n ^ n ) n > 0 是鞍，则对于一切 n 彡1， 


EX n = EX 0 . (1) 

假如将时间 n 换成随机时间（例如，马尔可夫时间） r , 那么上述性质是否仍然成立? 
在上一节例8中举的例子说明，一般并非如此 •. 存在鞅 X 和（以概率1有限的）马 
尔可夫时间 T ， 使得 

EXr ^ EX 0 . (2) 

下面的重要定理描绘一些“典型”情形，其中包括 EX T = E ^ 0 的情形， 
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定理 1 (杜布） 设 X = ( X n ^ n ) 是鞅（下 鞅 )， n 和 t 2 是停止时间，满足 


E|X r .| < 00 , 


1 , 2 . 


Um / | J\： n |dP = 0 

l—^OO J { r 2> n } 


那么， 


E(X T2 )^ Tl ) = X Tl ({r 2 > Ti};P -a.c.)- 

O ) 


并且，如果则 


Er 2 = Eri 
(彡） 


证明只需证明，对于任意 A €^ ri ，有 


I X T2 dP = / X Tl dP 

AC\{t2^T\ } O) jAC\{ t2^T\ } 


同样，为此只需证明，对于任意 n > 0,有 


(3) 

⑷ 




⑹ 


⑺ 


I X T2 dP = / X Tl dP , 

An{T 2 ^r\ }n{ri=n} (>> J v4n{r 2 }n{ri =n} 


或者 


f X T2 dP = / X n dP 

Bn { r 2^ n } (彡）丁 2 彡 


其中 B = Af]{ri 
因此，有 


n } G ^ n . 



X n dP 


BD { r 2^ n } 


Ibh { 


X n dP + / X n dP 

T 2= n } J BC \{ r 2> n } 


⑻ 


= / AV 1 P + / E ( X n+1 |^ n )dP 

( 彡） J BO{r2=n} J BD{r2>n} 

=[ X T 2 dP + f X n+ idP 

J Sn{r2=n} J BD{r2^n4-l} 

=f X T2 dP -|- f 

(O J Bn{n^T2^n+l} %/Bn{r2>n+2} 

= f X T 2 dP + f up . 

(O J Bn { n ^ T 2^ m } %/ Bn { T 2 > m } 

: z= • • • 


从而，有 


f X T2 dP = f XndP - f 

Bn{n<T2 彡 m} ( 彡 ） JBD{n^T2} J^ 




Bn { m < T 2} 
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并且由于⑷式和等式= 2 X +- | X m | ，得 

[ x n dr - f x m dP 

J Bn { n ^ ra } J Sn { m < T 2) 

m 

X T 2 dP - lim f X m dP 

BD{n^T 2 } • m_f °° JBn{m<T 2 } 

UP . 

{n 彡 r 2 } 

于是 （8) 式得证，故 （5) 式也得证.最后，由 （5) 式得 （6) 式. 口 

系1如果存在常数 W ， 使 P{n ( N } = l ， P { r 2 ^ N } = l y 則满足条件 (3),(4). 
因此，如果同时 P { t ! 彡 r 2 } = 1且 X 是鞅，則 

EXq = Eri = Er2 = E / Xjsj . 




系 2 如果随机变量族 { X n } 一 致可积（特别，如果以概率1,有 | X n | ^ C < 

oc ， n 彡 0), 则满足条件（3)，⑷ • 

事实上，由于 P { r , > 7 i } — 0 ,n — 00 ,故由第二章§6引理2可以得出条 件⑷. 
其次，由于随机变童族 { X n } 一致可积，可见（见第二章§6 (16) 式） 


supE|X"| < oo. 

N 


⑼ 


如果 r 是某一停时，而 X 是下鞅，则将系1用于有界停时 r N - rA 7 V , 可见 

EXq ^ EX r/v . 


因此， 


E\X 


TN 


2 Et + - EX Tn ^ 2 Et 二•- E ^ 0 


( 10 ) 


序列= ( X ^^ n ) 是下鞅 （§1 例5)，从而 


EX 1 


^ o l { r N = j} Xj 



对 dP + / X+dP 

{ r > N } 


N 




E-X^ ^ E IJV/v I ^ sup E|A jsj I . 

N 


由此连同 （ 10 ) 式，得 


E|U < SsupEI ^ Ovl . 

N 


从而根据法图引理，得 


E \ X r \ ^3 supE |. Yat | 

N 


于是，若选择 T = = 1，2)，并考虑到⑼式，得 E | X ri | < oo , i - l ,2 
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注在上一节考虑的例8中， 

I \X n \dP = (2 n - l)P{r > n} = (2 n - l)2~ n — 1， n — oo ， 

J {r>n} 

从而，（对于 T 2 = T ) 条件 （4) 不成立. 

2. 杜布定理的特例对于应用，由定理1引出的条件常是重要的. 

定理2 设 X = (X n ) 是鞅（下鞅)，而 t 关于 （多 ^ Y ) 是停时，其中= 
° {-^0? • * * n }. 假设 

Er < 00 ， 

并且对于任意 n 彡0和某个常数 C >0,有 

E{|X n+1 - X n \\^}^C ({r > n};P-ax.). 


那么， 


E|X t | < 00 


并且 


%严 0 


( 11 ) 


证明现在验证，对于 T 2 = T ，定理 1 的条件 （ 3) 和 （ 4) 成立 
设 Vo = IXoI.r^lX^- 4 —化 j > 1，则 

T 


0 


EKK 


_ E ^ dP 

n = 0 J ^ T=n ^ j =0 


no n ^ 00 00 p 00 广 

S S U - s S L, - S L> y ^ dP 


其中集合 {r 彡 j } = Q\{r<j}€ 一 ' • 因此对于 J •彡 1，有 



KdP= / E ⑺ |Xo, …， A 

{ 0 } M r > j ) 






于是， 


E|X r | ^ E ( J2 V J I <C^P{r^ j} + E|X 0 | = CEt + E|X 0 | < oc 

j =0 


(12) 


其次，如果 t > n, 则 


j=0 j=0 
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所以 r 

f l^nldP^ f YlVjdP. 

J { r > n } J { r > n } j =Q 

由此并考虑到（根据 （12) 式 )， E < oo , 且当 n 一 oo 时 {r > n } i 0，根据 

控制收敛定理，有 

lirn f | X n |dP < lim f ^ V ^ dP . 

n — oo J { T > n } n — ooJ { r > n } J=0 

于是，定理 l 的条件成立，故由此得 （ li ) 式. 口 

3. 基本瓦尔德恒等式现在介绍刚证明的定理的某些应用， 

定理3 (瓦尔德恒等式）设 心， 《 2 ，."是独立同分布随机变量，且 E |^| < oc , 
而 T 关于 (乃 是停时，其中 = a {6, … ,^ n},r > l,Er < oo . 那么， 

E (^ i +**-+ Cr ) = E 6 xEt . (13) 

如果同时又< oo , 则 

E [(心 + … + 心) - rECi ] 2 = x Er . (14) 

证明显然 ， X = ( X ni J ^ i ) n >1 是鞅，其中 =( 心 + •. • + 心） - nE 6, 且 

EflXn+i ，… 卜 E [|( n +1 — E 6||6, …， 《 n ] 

= E |^ n +1 - E 6|<2 E |6 l < oc . 

因此，根据定理2,得 EX r ^ EXo = 0,从而 （ I 3 ) 式得证_ 

现在给出“第二个瓦尔德恒等式” （14) 的三个证明， 

证明 I 设〜 — E&，Sn = T /1 + • • • + ” n . 需要证明 

E5^ = Er/i X Er. 

设 r(n) = t A n(= min{T ， n}). 由于 

纪=亡 % 2 + 2 H 卿， 

t=l l ^ t < j^n 

可见序列(碎 -E 是均 值为。 的铁. 

V i=l / n^l 

由定理 1 的系 1 ，可见 

r(n) 

E 巧 ⑹ = E [ { 
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根据“第一个瓦尔德恒等式” （13), 有 


r(n) 

E 7 1i = E ^1 x Er(n )， 


SflD W E5? = Er?f x Er. 

由于根据假设当 m，n — oo 时,类似地可得 

E(5 r(n) - 5 r(m) ) 2 = Er/? x E[r(n) - r(m)] — 0. 

于是，序列 ⑻ 是 L 2 中的基本序列（柯西序列，见第二章§10第5小节)，从 
而根据第二章§10定理7,存在随机变量使 E (5 T(n) - S ) 2 — 0 ,n — oo . 由此可见 
(第二章 §11 练习题 1), E 句⑻— E 5 2 , n ^ oo . 上面己证明 E 52 (n) = Er /? x Er ( n ), 
故当 n — oo 时得 E 5 2 = Er ?? x Er . 

现在只剩下识别变量 S . 为此只需注意到存在一序列 { n '} g { n }， 使以概率1 
同时有收敛： 5 r(n0 — S 和 T ( n ') — t . 那么，以概率1也有收敛 S T — S T . 从而, 
以概率1有 S = &，故 ES ? = Er /? x Et , 而这正是要证 明的. 

证明 II 由已证明的等式 E ^ (n) = Er /? x Er ( n ) 和法图引理（见第二章§6定理 
2中的 a )), 可见 

ES? = EUrn5^ (n) ^ limE5^ (n) ^ Erji x Er. 

如果能证明对所有 n 彡1，不等式 ES 2 r{n) ^ E 5 r 2 成立,则欲证的等式 ES ? =: E /;? xEr 
就随之得证. 

为此注意到，由“第一个瓦尔德恒等式”（13)，有 

E|5 r | = E|r/i +••• + " r | < E(|r ； i| + … + |” r |) = E|r/i| x Er < oo. 

因而，当 n — oc 时，有 


E|5 n |/(r > n) = E|r；i 十 ••• + r/ n |/(r > n) 

彡 E(|r?i| + ••• + \Vn\)I{r > n) < E(M + … + |^ t |)/(t > n) — 0. 


运用定理 1 (设 n 
以概率 1 有 


= m = t 和卜戟 (|* S n |,^^) n ^ i ) 可得，在集合 { t 彡 n } 上， 

n\Sr\\K) > |Sn|. 


由（关于条件数学期望得）延森不等式（第二章 §7 练习题 5) 可见，在集合 {T > 


n } 上，以概率1有 


^{ S 2 r \ K ) > S 2 n = S 2 T{n y 
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但在集合 {t < n } 上 E (5 t 2 |^) = = 52 ( n ) . 所以以概率 1 有 

E (5； 2 |^ n )^5 T 2 (n) . 

因此， ES ; 2 彡 S ‘ f ( ny 而这正是要证明的. 

证明 m 由“第一个证明”可见(纪 - f ： 是執，而对于十）= 

\ t=l /n^l 

t An 、 有 

E 碎 n ) = E "? x Er ( n ). 

因为 Er ( n ) Er , 故只需证明 ES 2 r{n) ^ E 匁.而为此只需证明 

Esup 6^( n ) < 00 ， 

n 

因为，这时由勒贝格控制收敛定理（第二章§6定理 3) 可得要求证明的收敛性. 

为了证明不等式 Esup 5 r 2 (n) < oo , 我们利用将在下面§3中引进的“最大不等 

式” （14). 若将该不等式^于鞅 ^、、外咖 则得 


E 


sup 

A^k^n 


(k) 



由此利用单调收敛定理（第二章§6定理1)，得 


Esup Sf 

k^l 



彡 4supE5^ (n) - 

n 


因为 

= Er?j x Er(n) ^ Er/j x Er < oo, 

所以 

Esup*5; ⑻彡 4E”？ x Er < oo ? 

n 

而这正是需要证明的. 口 

系设匕，…是独立同分布随机变 量序列 ，且 P{^i = 1} = P {^ = - i } = 
1/2, S n = + … +《 n ， 而 t = inf{n > 1 : 5 n = 1}. 那么， P{r < oo} = 1 (例如，参见 

第一幸§9的 （20) 式)，因此 P{S T = 1} = l,E5 r = 1. 从而 ，由 (13) 式可见 Et = oo . 

定理 4 ( 瓦尔德基本恒等式） 设6,6，...是独立同分布随机变 量序列 ，且 
S n = 6 + … + ^，n 彡 1. 假设 = Ee^,t € E , 而且对于某个 一 0,^ 0 ) 
存在，并且 fp ( to ) ^ 1. 

如果彡 1) (关于夕^ = a ⑷，… ，&),n 彡 1) 是停时，使 I 义 I 彡 C ({ r 彡 
n};P - a . c.)， 而且 Er < oo， 则 


E 



.[^ o )] r . 



(15) 


证明记 
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那么 ， Y = { Yn ^ i ) n ^ x 是缺，其中 EK == 1，而在集合 {r = n } 上，有 


E[\Y n+l -Y n \\Yu-^Y n ) = Y n E^ 


0 <O^r# + l 

冰 0) 


$1，… 



= ynEle ^ M ^ o )]*" 1 一 1| < B < 00 , 


其中 B 是某一常数.于是，由于 EF n = 1，故由定理2,得 （15) 式. □ 

例1 这个例子在于演示，将上述结果用于博弈问题，包括求破 产概率和平均 
博弈时间（见第一章 §9). 

设16,…是独立伯努利随机变量序列: P { e * = 1}= P , P 仏 = -1} =^ P +^/ = 
1,而乂 =《1 + • • • +《…且 


丁 = inf{n > 1 : S n = B 或 


(16) 


其中 （ -4) 和 B 是正整数. 

由第一章§9的 （ 20) 式可见， P{t < 00 } = 1 和 Et < 00 . 那么，如果 a = 
P{6V = A } j 3^ P { S r = B }, 贝 lj a + /? = 1 ， 并且当 p = <? = 1/2 时，由 （ 13) 式，可见 

0 = E5 r = ckA 4 - 0B, 


因此 


B 

^ bT\av 



B ^\ A [ 


利用 （14) 式，得 

Er = E5^ = aA 2 -f f3B 2 = \AB\. 
假如心 ，那么，若考虑 (~/p 产)咖鞅， 则可得 


E 


=E 



因此 





由此连同等式 Q + /?=l , 得 



(17) 
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注意到 ES T = (p - (/)Er , 最后得 


Er 


ES r aA-^PB 


其中 a 和 0 由 （ 17) 式决定 . 

例 2 假设在例 1 中 p = g = l/2. 证明，对于任意 ;\ ， 0< 人 <7^(5 + 0 |)和由 
(16) 式决定的停时 T ， 


cos ( A 


B^A 


E(cos A) 


cos I A 


bV \ a \\' 


(18) 


为此，考虑鞅 X = (X n ,^)n^o , 其中 


X n — (cos A) 


n cos A yS n — 


B + A 
2 一 


(19) 


而 So = 0 . 显然 


EX n = EXq = E cos [ A 


B^rA 


( 20 ) 


现在证明，变量族 {J^nAr} 一致可积 . 为此注意到，由于定理 1 的系 1 ,对于任意 

入， 0<；\<冗/(5 + | 川），有 


EX 0 = EX nAr = E(cosA)" (nAr) cos 


A (S"nA 


B + A 
2 



^ E(cosA)- (nAT) cos • 


因此，由 （ 20) 式，可见 


cos I A 


B^rA 


E(cosA)- (nAr) < 


cos 




故根据法图引理，有 


cos I A 


B + A 


E(cos A) 


cos f A 


2 泰 

bT\a\ 

2 


( 21 ) 


从而，根据 （ 19 ) 式 


l^n 


At 


(cos A 厂， 


故连同 （ 21) 式便证明了变量族 {X nAr } 一致 可积 . 那么，由定理 1 的系 2 ,可见 


cos I A 


B + A 


EXq = EXr = E(cos A)" T cos ( A 


于是，等式 （ 18) 得证 . 
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4. 更新理论的基本定理作为瓦尔德恒等式 （13) 的一种应用，我们证明更新 
理论的所谓基本 定理： 如果 TV = ( N t ) t > 0 是更新过程,其中 

00 

= T n = CTi + • . • + f7 n , 


而，…是独立同分布正值随机变童序列（见第二章§9第4小节 )， " == Eq < 
oc , 则更新函数 m ( t ) = EN t 具有如下性质 


m(t) 


oo 


( 22 ) 


回忆，过程 TV = ( N t ) t ^ 本身服从 强大数 定律: 


N, 


— ► 


一 (P 一 a . C *)， t — ►DC 


(例如，参见第四章§3的例 4.) 
为证明 （22) 式，只需证明 


t f .1 t^OO t /i 


为此，注意到 



^ t < T / v f + 1 • ^ > 0. 


因为对于任意1， 


(23) 


(24) 


{ N t + 1 ^ n } = { N t < n — 1} = { A^ t < n } = { T n > t } 


Y^a k >t \ e ^ n > 


其中叉 n 是由变量 am ， …诱导的 a -代数 ， M = Eq < oo , 则（对于每一个固定 
的 f > 0) 时刻 iV t + 1 (但不是 7 V t ) 是马尔可夫 时间. 那么，由瓦尔德恒等式（ I 3 )，可 
以得到 


ET Nt+i = / i[m ⑴ + 1]， 


(25) 


因此，由 （24) 式的第一个不等式，得 


m ( t ) 


< 4 1], BP 二以>丄一子， 

L 人 i T 


(26) 


故当 f — oo 时得 （23) 式的第一个不等式. 

其次，由不等式 （24) 的右侧可见， t 彡 ET ^. 由于 T^ t ^i = Tyy t + 则 


t ^ ^> T Nl = E ( Tjsf t+ i - ^ N t + i ) = P 卜⑴ + 1] _ E < 7 jsr t + i . 


(27) 
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如果假设变量 A 都有上界 （q 彡 c)， 则由 （27) 得 i 彡 /i[m(f) + lj - c， 因而 


m ⑷ 


% 一 


( 28 ) 


那么，由此得 （23) 式得第二个不等式. 

为去掉限制 A < c，i > 1，对于某一 c > 0 , 引进变童 

erf = < c) + cl(ai ^ c), 

并且将其与更新过程 iV e = ( N t c ) ao 相联系，其中 

rx + …+ 略 

n=l 

由 于巧彡 彡1)，则因而 m c ( t ) =呵> EN t = m ( t ). 那么，由 （28) 


式可见 


m(<) m c ( t ) 11 (? 一" c 

_ ■ _ ■■ I _ ■•■ ■ y* ^ r ^ Jm, 1 

t 、 t 〜# t fI C 


其中， 


从而 






现在设 


C —♦ 


oo, 并考虑到当 c — 00 时， —A 由此得 （23) 式得第二个不 等式. 


于是，性质 （22) 得证. 

注关于更新理论更一般的结果，例如，可以参见[7,第 9 章]，[69,卷1,第 M 


章 1. 


5. 练习题 

1. 对于下鞅的情形,证明，如果将条件 （4) 换成条件 


Hm / X^dP = 0, 

n 一 oo J{r 2 >n} 


则定理1仍然成立. 


2.设久= ( X ni J ^ n ) n >0 是平方可积鞅， r 是停时, EX 0 =0 


Hm / X^dP - 0. 

n— mx> J{r 2 >n} 


证明 


EX 卜 E(X) r 




其中 AXo = X 0y AXj = Xj - 
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3. 证明，对于每一个鞅久= ( X n ^ n ) n ^ o 或非负下鞅，以及停时 t ， 有 

E|X T | < lim E|A： n |. 

n—oo 

4 •设 X = ( X ni J ^ n ) n > 0 是这样的上鞅，使心彡 E ⑷， n )(P - a . c.),n 彡0,其 
中 E |《| < oo . 证明，如果 n 和『2是停时，且< r 2 } = 1，则 

X Tl ^ E ( X r 2 \ J ^ ri ) ( P - a . c .). 

5 •设《1，《2, … 是独立同分布随机变量序列，且 P{《i = 1} = P {& = -1} = 1/2, 
而 a 和> a ) 是正数， 


W W 響零 

^ a Yl = + 1 ) _ 6芝）(“ = - 1 )， 


而 


inf{n ^ 1 : X n ^ 一 r }， r > 0 


证明：当 A 彡 ao 时， Ee Ar < 00 ,而当 A > a 0 时， Ee Ar = oo, 其中 


b t 26 a . 2 a 
ao = - r - r H - r - r - 

fl + 6 a + 6 a -h o a -h o 

6 .设6,&，…是独立同分布随机变量序列，且 = 0， D 4 i = al S n = ^ 
+ + 对于推广瓦尔德恒等式 （13) 和 （14), 证明如下论断 

的正确性： r 

1) 如果 E f ： E |6| < 00 ,则 E 5 T = 0; 

j=i 

2) 如果 E 亡 E 疗 < 00,则 


ES r = EE ^= E Z ^ 


(29) 


7 •设 X = (X n ^ n ) n ^ 是平方可积鞅，而 t 是 停时. 证明 


W 

EX r 2 ^ E ^( AX n ) 2 . 


证明，如果 


lim E[X 1 ^( r > n)j < 00 或 lim E[|X n |/(r > n)] 


m 

E ( AX r ) 2 - E ^ X 2. 


则 
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8•设X = (X n ^ n ) n ^ 是下鞍、而对于停时 ti < t 2 彡…, EX Tnt 有定义.证明 

lim E[X^ (r m > n)] = 0 ? rn > 1. 

n—»oo 

证明序列 {Xr ui y^ Tjn 是下铁(通常 = {A e ^ : Af]{T m = j} G ^ 
!})• 


§3. —些基本不等式 


1. 概率的最大不等式和中的最大不等式如果 X = ( X n ^ n ) n>0 是随机 


序列， 


抑， i^ii P = (E|x n n^ P>0. 


下面是属于杜布的三个 定理： 定理〗〜定理 3. 这些定理，对于下鞅、上鞅和 
鞅,给出了基本的“概率的最大不等式”和“ P 中的最大不等式”. 

定理1 I•设入= (X n ^ n ) n ^ 0 是下轶，则对于任意 A > 0,有 


AP \ max Xk ^ X} 

k^n 


I ( max X/c > A 

k^n 




AP { min Xa ： < -A ^ ^ E 


X n I > 一 A) 


- EX 0 ^ EX +- 


入 P 


I max \Xk\ ^ A ^ ^ 3iimxE|Xfc|. 


H •设 Y = (Y n ^n)n^0 是上秩，则对于任意 A > 0，有 


AP 


\ max 

\ k^n 


Y k ^ X } ^ EYo-E 


y n i Ua^n < a 


⑴ 


0, 


彡 Ey 0 + EV； 一 


AP < nun ^ ^ ^ - E 


Y n I(mmY k ^-X 


^ Ey - 


AP \ max\Yk\ > A ^ ^ 3nipcE|yfc|. 


( 2 ) 

(3) 


⑷ 


(5) 


⑹ 


in. 设义 =(A ，少 ^)00 是非负上鞅，则对于任意 A >0,有 


入 P < max Yk ^ ^ EK 0? 

k^.n 

f 

AP \ sup Vit > A ^ < Ey n 

k^n 


⑺ 


⑻ 


定理 2 设； 1： = (X nj J^ n ) n ^ 0 是非负 下鞅， 則对于任意 P 彡1，下列不等式成 


JL ： 



如果 p > 1，则 


p — 丄 


如果 p = 1 ，则 


l|X n |h ^ HX^Ih ^ —-{1 + H^ln^nll!} 

e 一 1 


定理 3 设 X = ( X n ^ n ) n ^ 0 是秩， 而 入 > 0， p 彡1， 则 


p { :陳 


而如果 p > 1，则 


ll^nllp^ll^H^^ll^llp 


特别，当 P = 2 时，有 


■ m 

E T^Xl 彡 4E|X„| 2 . 

■ _ 


⑼ 


( 10 ) 


( 11 ) 


( 12 ) 


(13) 


(14) 


证明定理 1 由于带相反符号的下鞅是上鞅，故由不等式 (4)-(6) 得不等式 
(1)-(3). 因此，我们考虑上鞅 y = ( Y n ^ n ) n > 0 的情形. 

设 t = h \ i{k < n : Yk ^ A }, 如果 maxVfc < A , 则认为 r = n . 那么，由 §2 性质 

k^n 

(6) 可见， 


EVo ^ EVV = E V r ; max Yk ^ A + E Y r ; max Vfc < A 

k^n k^n 

m 

» _ 

^ AP max Yk ^ ^ -f E Y n ;maxYk < A , 

k^n k^n 


从而，证明了 （4) 式. 

现在，设 a = inf { A : ^ n 

然由 §2 性质⑹可见， 


Yk ^ -A}, 如果 maxU > — A ， 则认为 

fc^n 


n . 那么，仍 


"1 r 

Ey n ^ EVr = E Yr^mmYk ^ -A +E V^minVfc 〉 一入 

fc^n k^n 

_ m ■ 


< -AP minVA ： ^ -A +E Y n ;mm 

k^n k^n 


> -A • 


由此，得 


AP miny fc < -A $ -E y n ;miny fc ^ -A 

k^n k^n 


从而，证明了 （5) 式. 
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为证明不等式⑹，注意到 y - = (- y ) + 是下戟，从而根据⑷式和⑴式，有 


AP 


max | y ^| ^ A 

k^n 


$ AP 




AP 


max ^ A 


AP 


k^n 



k^n 



^ Ey 0 -f 2Ey n - ^3maxE|y fc |. 

k^.n 


由⑷式得不等式 （7). 

为证明不等式 （8)， 如果当 A : 彡 n 时 U < A ， 则设 7 = inf{fe ^ n \ Y k ^ A }, 认为 
7 = oo . 又设 n < N < oo . 那么，由§2⑹式，有 

EY n ^ EY 1AN ^ E [ Y 7 AN I(j ^ N )) > AP { 7 ^ N }, 


于是，当 W — oo 时，得 


EF n ^ AP { 7 < oo } 




AP < sup Vfc ^ n 


证明定理 2 (9) 式和 （ 10) 式的前两个不等式显然. 
为证明 （ 9) 式的后两个不等式，先假设 

MpCoo ， 

并且利用如下 事实： 对于任意非负随机变量 C 和 r > 0,有 


□ 


(15) 


E^ r 





0 


那么，对于 P > 1,由不等式 （ 1) 和傅比尼 （ G. Fbbini) 定理， 可见 


(16) 



E ( X；)^=p / t ^ l P { X ^^ t } dt^p I f p ~ 2 I / X n dP I dt 

0 Jo 



p I 

0 


2 


■ ■ 
f X n I { X * ^ t}dP 

dt = p [ X n 

/ t p ^ 2 dt 


Jn 

Jo 

■ _ 


dP 


V 


p 


I E [ x n ( x * r 1 ]. 


(17) 


从而，根据赫尔德 （ O . L . Holder) 不等式（第二章 § 6 第 7 小节)，有 

E(X：r < Q\\Xn\\ P - ||(^) P ^ 1 IU = q\\Xn\\ p [E(X^) l ^ y 

其中 q = p/(p- 1 )* 

假如不等式 （ 15) 成立，则由 （ 18) 式立即得到 （ 9) 式的第二个不 等式. 


(18) 



假如不等式 （15) 不成立，则应该按如下方式操作.在 （17) 式中不是考虑 A ：；； 而 
是考 虑变童 （义 A L )， 其中 L 是某一 常数. 那么，有、 

E(X ； A LY ^ qE [ X n ( X ： A L)^ 1 ] < g||A ： n || p [E(X ； A L )^\ 

因此，由不等式 E { X * ALy ^ LP<oo 可见 

E(X ； AL)^^EXP = ^||X n ||P, 


从而 

E(X*y = lim E(X ； A LY = q p \\X n \\^ 

Ij—^OO 

现在证明 （10) 式的第二个不等式. 

仍然利用 （1) 式，有 


EX ； - 1 ^ E(X ： - 1) 



P{X* - 1 ^ t}dt 


0 1 + i 



X n dP dt = EX n 



x ，: 


dt 
+1 


EX n .lnX*. 


由于对于任何 a 彡 0 和6>0,有 


o In 6 < a ln + a + 6e 


(19) 


因此 


EX ； - 1 ^ EX n lnX ； ^ EX n ln + X n 4 - e^EX: 


如果 EX ； < oo, 则由此立即得 （ 10) 式的第二个不等式 • 

如果 EX ； = cx), 则像上面一样将 M 换成 X*AL. 

证明定理 3 由于（若 E|AT <oo,n>0) |X|P(p 彡 1) 是非负下铁，故 由⑴式 


和 （9) 式可见定理3 成立. 

定理3的系 SX n = ^) + -..+^， n >0, 其中是独立随机变量序列， 
且 Ea .=0, E 技 < oo . 那么， 不等式 （13) 就是柯尔莫戈洛夫不等式（第四章 §2). 


2. 最大概率及中最大范数的估计式设 X = ( X n ^ n ) n ^ o 是非负下鞅，而 


X n 


+ A n 


是杜布分解 （§1 的 （ 11) 式). 那么，由于 EM n = 0, 故由⑴式可见 

P{K > eK 亨 

下面的定理4证明此不等式不仅对于下鞅成立,而且对于控制性的更广泛的一 
类序列成立.下面的定义说明了这 里所谓控制性 （优 势性） 的含义 • 
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定义设 X = { X n ^ n ) 是某一非负随机序列，而 A = ( A ni jr n ^) 是一递增可 
预测序列.称序列 A 控制序列 X ( 或 A 是 X 的优势序列),如果对于任何停时7•，有 

EX r ^ EA r . (20) 

% 

定理4 设乂 = ( A ny jr n ^) 是一递增可預測序列，而 X = ( X n ,^ n ) 是祓序 
列 A 控制的非负随机序列，那么，对于 A >0,(1 >0及任何停时 r , 有. 

( 21 ) 
( 22 ) 

(23) 

而荐 {•} = 0，则认为 a n = t A n . 那么， 

EA r ^ EA ^ ^ EX。）f X an dP ^ XP { X； An > A }, 

因而 

P{^；An >AK 妥 E 枣， 

于是，由法图引理可得不等式 （21). 

. 为证明 （22) 式， 引进时间 


P{X ； 彡入 } < 


~x 


P{X ； 彡 A } < jE(Ar A a ) + P { A r ^ a }, 





1 /p 


llAJp ，、 0 <p<L 


证明设 


min{j ^ t An : Xj ^ A} t 


7 = inf{j : A j+ i ^ a }, 

而若 {•} = 0，则认为 7 = oo .那么， 

# « 

P { X ； ^ A } = P { X ；^ X , A r < a }- hP { X ； ^ X y A r ^ a } 

彡 P{I{Ar<a}K ^ A } + P{Ar P{X； A7 ^ A } + P{Ar > a } 

< \ eA tA ^ P { A r > a }^ ^(Ar Aa ) + P{^ T ^ a }, 

A A 

其中用到不等式 （ 21) 和 I { A T < a } X ： ^ •最后（注意到（ 22 )式)，由下面的一系 
列关系式，得不等式 (23): 

\m\i = E(x;r = j: P{(x;y > t}dt = jo 

^ f °° r l / p E [ A T At l ^} dt + f °° P { A p T ^ t}dt 
Jo Jo 

= e£ T dt + Ej 二 A T r l ^ p dt + EX ? = □ 


§3. —些基本不等式 
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注假设定理4的条件成立，但序列4 = (A n> ^ n>0 ) 未必是可预测的，不过假 
定对于某个常数 C > 0,有 


P 



其中△鳥= 4•- Ak . 那么，如下不等式成立（对照 （22) 式)： 

P { X ; ^ E [ A r A(a + r)] + P { A r ^ a}. (24) 

这一事实证明与不等式 （22) 的证明类似，只需要把时间 7 = iiifU : A j+i ^ a } 
换成时间7 inf{j ： Aj ^ a }, 并且注意到< a -f r . 

系设； = { X ^^ k n ) 和 # = (戽，夕 t)，n 彡 0,/c > 1,满足定理4的条件，或 
者满足上面的注.假设 ( r k ) k > l 关于多 ^ =(多 t ) 是停时序列，而且二 0 ,那么 

(X k X k ^ 0 . 

3. 鞅的不等式在这一小节将（不加证明，但是有其应用）列举一系列非常好 
的鞅的不等式.这些不等式，有些是下面的介绍的辛钦不等式的推广，有些是独立随 
机变量之和的马尔钦凯维奇 （J. Matcinkiewicz) 和齐格蒙特 （A. Zygmund) 不等式的 

推广. 

辛钦不等式设是独立同分布伯努利随机变量，且 P^i = 1} = 

P{& = - 1 }二 V 2 •而 ( c n ) n^l 是一教列. 

那么，对于任意0 <p< 1存在（不依耜于 （C n ) 的）通用常數和巧，使得对 
于任意 n > 1 ，有 








1/2 


(25) 


马尔钦凯维奇和齐格蒙特不等式设匕是独立可积随机变量序列，且 
E^i = 0 ,則对于任意 p ^ l , 存在这样的（不依赖于 （Cn) 的）通用常数 Ap 和 B p , 使 
得对于任意 n>l, 有 



/ n \ " 2 


XX 


/ n \ 1/2 

A p 




( B p 



V?=i / 

V 

P 

1 / 


在不等式 （ 25) 和 （26) 中，序列 X = ( X n ) 是鞅,其中相应地 


(26) 


06 和 x ri = 

i=i j=i 

自然地提出问题，是否可以将这些不等式推广到任意鞅？在此方向上最早的结果属 
于伯克霍尔德 （ D. L. Burkholder). 
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伯克霍尔德不等式如果 X = ( X n ,^ n ) 是秩，則对于任意 p > 1,存在这样的 
(不依赖于 X 的）通用常數火 p 和 S p , 使得对于任意 n 彡1,有 

A p V[XU ^ ll^nllp ^ B p y/[XU , (27) 

V P 

其中 [ X ] n 表示 X n 的二次变差（第 118 頁)， 

n 

[ X]n = X ) (△ X J ) 2 ， Xo =0. (28) 

_ il 

J =* 

特别，常教 > l p 和 s p 可以取为 

和 B p = 18 p 3 / 2 /( p - l ) 1/2 . 

考虑到 （12) 式，由 （27) 式可见 

A p y/Wn ^ ll^llp < B ； ， (29) 

P P 

其中 

4 = [18 p 3 / 2 /(p - 1)卜和 B ； = 18 p 6 / 2 /( p - l ) 3/2 . 

当 p > 1 时,伯克霍尔德不等式 （27) 成立; 而且马尔钦凯维奇和齐格蒙特不等 
式（26)，也对于;> =1成立.问对于 P = 1，不等式（2乃是否成立？下面的例子表明， 
当 p = 1时,不等式 （27) 不能直接推广. 

例设6,匕…是独立伯努利随机变董，而 P 仏=1} = P {& = - 1} = 1/2,且 

其中 r = infin ^ l :^^ = l 1. 

>=i { J 

序列 X = { X n ^ n ) 是铁，其中 

0 

\\Xn\h = E\X n \ = 2EX^ 2, n —oo. 

但是 

|| v 1 xI；||i = Ev / rc = E 

从而 ， （27) 式的第一个不等式不成立 • 

结果表明，对于 p = 1的情形，虽然不等式（ 27 )不能推广，然而（对于 P > 1，与 

不等式 （27) 等价的）不等式 （29) 可以推广. 

戴维斯 （ H . T . Davis ) 不等式如果久= ( X ni ^ n ) 是鞅，則存在这样的通用 

常数 >1 和 B (0 < >1 < S < oo ), 使 

a nyreil ^ ml 以 \\ vixu \ l ， ( 3 °) 


㈣ 


1/2 




Evr A n —> oo . 



即 




系 1 设，《 2 , … 是独立同分布随机变 f , 5 n = 心 + •. • + ( n . 如果 E|^j| < 
oo ， E^ = 0, 則根据 § 2 中瓦尔德不等式 （ 13), 对于任意（关于（炙的）停时 T(T < 
oo), 如下等式 成立： 


B 5 r 


(31) 


如果补充假设 E|6| r < oo(l < r ^ 2), 则等式 ES r = 0 成立的充分条件是 
Er 1 ^ < cx>. 

为证明系 1 的结论 , 引进记号 : T n = rAn,y = sup|5 rw | t 并且假设 t > 0, m = [t r ] 

是 r 的整数部分.由于 §2 定理 1 的系 1 ，可知 E5^ = 0. 因此，为关系式 ES T = 0 
成立，（根据控制收敛定理）只需 Ife 证 Esup|5 T J<oo. 

由不等 式⑴和 （ 27 )，有 

P{Y > 0 = P{t W X} + P{r < t W} 

<P{r^r} + p(m^c \S Tj I 彡 4 州 T W r rE l 5 J 






r /2 


< P { r ^ n +^ r r Eg | e >| 


注意到，（记 ^ = {0,n» 


= r m )|^r = f>E 卜 < 


J 


E £ I{j < r m )E [l^n^.x] = e£e|W = /v 


其中 〜 =Ef. 因此 , 


P{y >0^ P{r > t r } + t- r B r rf MrET m 


P{r ^ t r } +B r r ^t 


P{r X r } + / rdP 

J { r<tn 


0 命) p{r 冲珥 叫 ㈣ 州 p ， 
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于是， 


EY 


厂 P{y ^ t}dt < (1 + B r rt ir ) ET^ r + B r r fi r f 

Jo Jo 

(1 H- J3 ； /i r )Er 1/r -h B；fir r 厂 , t^ r dt dP 


rdP dt 


{ r < t r } 


+ 珥 Mr 


鹄) 


Er 1/r 


< oo 


系 2 设 M = ( M n ) 是秩，满足条件：对于某一 r 彡 l , E | M n | 2r < oo , 且 


y ^ E|A 

召 n 


^^< 00 , (Mo ^ 0 ) 


(32) 


那么，强大數定律成立（对照第四幸 P 定理 2 ): 


M n 


— ► 


0 (P — ax .), n —► 00 


当 



, (32) 式的证明与第四章§3定理 



( 33 ) 

具体地说，设 


fc=l 


那么， 


Up - 

而根据克罗内克引理（第四章 §3), 级数收敛 （P - a . c .) 


■ 冒 


1 n 

—^ kArrik —>0, n 


00 , 


的充分条件是,存在有限极限 Imim n ( P - a . c .). 而极限 limm n (P - a . c .) 存在，当且 
仅当对于任意 6>0 (第二章§&定理1和定理 4 ),有 n 


P <sup [ rrin+k - rrinl ^e \ -^0, n 

U 彡 1 J 


—> OO- 


(34) 


由于不等式 （1)， 有 


f ( 1 1 E(AM k ) 

P^sup |m n +fc 一 mnl ^ ^ ^ j^2 

^ k=n 


从而，当 r = 1 时 ，（32) 式和 （34) 式得证. 



. 一 些基本不等式 
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易见，有 

is = J2 垚 E [_ 2r - 寧卜 ii 2r i 

1 -丄1 F| w , 2 r, 寧"|加 

^ [(j - l)2r j2rJ E l A 0- 1 l + //2r - 

由伯克霍尔德不等式 （27) 和赫尔德 （ O . L . Holder ) 不等式，可见 

.j ] r 3 

nMi\ 2r < B 2 2 ;E < BgE Y^(AMi) 2r . 

L<=i J *=i 

因而 


N-l 

In B 2 r ^2? 

a — o L •/ 


(j +1) 







其中 Q(i = 1,2,3) 是常数.于是，由于 （ 32 ) 式，估计式 （36) 得证. 

4. 下鞅的极限平均“振动”次数的上界随机变量序列 ( X n ) n>l 以概率1有 
(有限或无限）极限 limX n , 当且仅当“在任意两个（有理）数 a 和 b(a < 6) 之间振动 
的”次数以概率1有限.对于下鞅，下面的定理5给出了 “振动的”平 均次教 这上侧 
估计,定理5将用来证明其收敛性的基本 结果. 
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固定两个（有理）数 a 和 b(d < 6)，并且对于序列 X = ( X n ) n > l 定义 停时: 

r 0 = 0， 

T\ = min{n > 0 : X n ^ a }， 

T2 = min{n > T \ : X n ^ b } 7 


r 2m -i = min{n > r 2m - 2 •• X n < a }， 
T2 m = min{n > r 2m _i : X n > 6}, 

若相应的集合 {•} 是空集,则设 u = oo . 

其次,对于每一个 n > 1,定义随机变量 


/3 n ( a ，6) = 


{ rnax{m : r 2m < n }, 


若 t 2 > n ， 

若 T2 < n . 


随机变童 Pn ( a , b ) 的含 义是： 序列 Xu …， X n 与区间[〜6】（自下而上） 相交的 
次數. 

定理 5 ( 杜布）设 X = ( X m ， n ) n >i 是 下秧. 那么，对于任意 n > l ， 有 

E ^( a , b ) < 别令 二 （ (37) 

0 — a 


证明下鞅 ； f = ( X n ^ n ) 与 区间 ㈧ 61相交的次数，等于非负下鞅 X + = 
(( X n - a )+,^ n ) 与区间 [0,6- a ] 相交的 次数. 因此,如果把下鞅 X 视为非负的且 
a = 0,则需要证明 

E 〜 (0，&)彡宁. （38) 

设 X Q = 0 , 巧) = { 0 , n }， 而对于 i = 1 , 2 , …和某个数 m , 记 

{ 1，若 T m < i < T m +l 且 TTl 为奇数， 

0，若 7 * m < i < 7 * m +l 且 T 71 为偶数. 


不难看到， 

和 


b 0 n ( O , b ) < ( fi[Xi - X ^ i ] 

i=l 

{^t = 1} = U [{^m < *}\{ r m-f 1 < *}] ^ ^i-1- 

m 为奇数 




从而 


S 3. —些基本不等式 
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6E/3 n (0, b)^Ej2 ^i[Xi - 卜 [ / ( 不 - X^dP 

i=l «=1 = 

= E / E (不一 Xi^i.^dP = f] f [E(^|^0 - UdP 

i=i i=i 〜 .=i} 

- UdP = EX n , 


于是，不等式 （ as ) 得证. 口 

5. 二次可积鞅大偏差槪率的估计在这一小节对于平方可积鞅，我们将讨论大 
偏差概率的不等式的某些简单不等式. 

设 M = ( Mn ^ n ) n ^ O 是平方可积铁，而 （ Af〉 = ((Af) n ,^„-i), Af 0 = 0 是其二 
次特征.如果将不等式 （ 22) 用于 X n = MlA n ^ (M) n , 则对于 a > 0,6 > 0, 得 


P 


{ max 


\M k \ 




< ~^E{(M) n A (fen)] + P{(M) n >an}. 


(39) 


事实上,利用第四章 §5, 在估计独立同分布随机变童之和的、大偏差概率的估计时， 
所阐述的思想，至少当 |AM n | < C 时，对于一切 n 和 a; € n, 可以本质上改进该不 

等式. 

注意，在第四章 §5 中推导相应的不等式时，这样的环节是利用了如下 事实: 

序列 

(e xs -/[<p(X)] n ^ n ) n> u … ， (n )， （ 40) 


形成非 负鞅,然后再对其运用本节的不等 式⑻. 如果现在将 s n 取作 M „, 则与 （ 40) 
式类似的将是非负鞅 

( e AAf V ^ n ( A )^ n ) n > l , 


其中 

^ rt ( A ) = nE ( e A ^|^ 1 ) (41) 

i=i 

是所谓随 机分量 （亦见第二章§6第13小节). 

这一表达式相当复杂.然而，为使所形成的序列是鞅，完全没有必要利用不 
等式 （8). 只需使它形成非负 上鞅. 我们在这里也正是这样 做的： 首先构造序列 
(Zn(A),^n) (见下面的 （43) 式),然后运用第四章§5使用的方法 • 
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引理1 设 Af = (A/ n ,^"n)n^O 是二次可积軼， Mo = 0, AMo = 0,而对于一切 
n 和 (J, |AM n (u;)| ^ c. 假设对于 A > 0,有 • 



c > 0, 


(42) 


而 


Z n (A) = e AA/ "-^ (A) < A/) ". 

那么，对于每一个0,序列 2( A) = (Z n (A),^ n ) n ^ 0 是非负 上鞅. 
证明对于间彡 c , 


Ax 


— 1 — Xx = ( Ax ) 


2 


E 

171^2 


( 入工 ) 


2 


m ! 


^ ( Ax ) 


2 


E 

m ^2 


( Ac ) 


2 


m ! 


< x 2 ^ c ( A ). 


(43) 


由于该不等式以及表达式 （A = Z n ( X )) 

AZ n = Z n -i[(e AAA/n - ” e -厶 + ( e -A(M>”A W 一 丄)】， 

得 


E ( AZ n U 

=Z n _i[E(e XAM " - - △ (M 〉” lMA) + (e~ A<A/) "^ (A) - 1)] 

=Z n -i[E(e AAM " - 1 — AAM n |^„-i)e'- A(M>n ^ (A) -f (e _A(M)n ^ (A) - 1)] 

^ Zn-i[^c(A)E((AM n ) 2 |^n-i)e" A(M> "^ (A) + (e- A(Af)w ^ (A) - 1)] 

=Z n _ 1 [^c(A)A(M) n e- A(M> "^ (A) + (e-〜 M 〉”〜( A ) - 1)K 0， （44) 

其中亦用到如下不等式：对于 x > 0,有 

xe -: + ( e_ x — 1) < 0‘ 

由 （44) 式可见 


E(Z n |^n-i)^2 n _i, 

即 Z(A) = (Z n (A),^ n ) 是上秩. 口 

假设满足引理1的 条件. 那么，总存在 A > 0,使（对于给定的 a > 0,6 > 0), 有. 
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一 箜基本不等式 


aA - <^ c ( A ) > 0. 由此,可见 

P |max A/fc ^ an I = P | m ^ xe AAfir ^ e Aon | 

彡 P | maxe AAifc- ^ r ^ A ^ A/ ^ ^ e Aan -^ r ( A )< M > T , I 

=P (maxe AW ^^ (A)<M>A ^ e Xan ^ w{M)n AM) n ^ 6ri) 

L k < n J 

+P | maxe XA/fc '^^ > < A,)fc ^ e >an ^ (X)(M >% ( A/) n > nfcj 

< P {贤 xe AA 也⑽ > e Aan -^( A )« m | +p {( Af> n > im } 

< e_ n 【 A 卜 6 ^训 + P{(M) n > bn} 9 

其中由 （ 7) 式得最后一个不等式. 

记（对照第四章§5的函数 H ( a )) 


(45) 


H c ( a , b ) == sup[Aa - fet /^ c ( A )]- 

A>0 


那么，由 （45) 式可见 


an >. 


P |maxM fc >an| <P {(M) n > frn} 4 - e - nH ^ b K (46) 

将鞅 M 换成 -M 可见，不等式 （46) 的右侧也从上側估计概率 P | minM fc < - anj . 

因此， " 

p(max\M k \^an\ 彡 2P{(M>” > im} + 2e— nH “ a ， b ). (47) 

I k^n J 

于是 ，证明 了如下定理. 

定理6 设 Af = ( M n ^ n ) 是具有一致有界跃度的鞅，即对于某个常數 C > 0 
以及一切 n 和 a ; > | AM n ( a ;)| < c . 那么，对于任意 a > 0,6 > 0,不等式 （46) 和（打) 

成立. 


(47) 


注函数 


H c (a,6) = | (a + 会 ) In (1 + 詈 )_ 


(48) 


6. 二次可积鞅与其二次特征最大比值槪率的估计在定理6的条件下，我们现 


在考虑形如 


P{sup^->a 

U^n {M)k 


的概率的估计问题.特别，这种形式的概率,在关于鞅的强大数定律中（下面见§ 5 的 
定理 4), 表征收敛的速度. 
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由与第四章§5同样的方法,可见对于任意 (X > 0,存在 A > 0,使 aA - V ； c ( A )>0. 
那么，对于任意 fe >0, 有 


P /sup ^ > a\^P { supe XM ^ x ^ > e M ^..( A )]( M> w 1 

{M) k J U 彡 n J 

彡 P ( supe AA/fc ~^ (A) < A/ > fc > el° A -^ (A)lfrn l + P {( Af) n < bn ) 

U^n J 

< e - M«XWl + P {( Af) n < bn }. (49) 


由此，得 



WTk I 



> a 


彡 P {( M) n < fen } + e - nH ^ b \ 
<2 P {( M) n < fen }+ 2 e " nH - {ab ^ b) . 


(50) 

(51) 


于是,证明了下面的定理. 

定理 7 假设满足定理 6 的条件，則对于任意 a 〉 0,6 >0, 不等式 （50) 和 （51) 
成立. 

注将 （51) 式的估计，与第四章§5中的 （21) 式比较，其中对于伯努利概型: 
p = l /2, M n = 5 n - n /2 ,b = 1/4 , c = 1/2,则可以看到当 e >0 二者产生同样的结果: 


P < sup 
U^n 


Mk 

Wk 


> £ 




^ 2 e -4e2n . 


7. 练习题 

1 .设 X = ( X ny ^ n ) 是非负下鞅 ， y = 是可预测序列，其中以概率 

1，有0 < K n+1 < K < G 而 C 是常数,证明不等式 （1) 有如下推广： 

eP i max VjXj ^ + A ^ V ^ X n dP < \^ EVjAXj . (52) 

J J^VjXjKe} 


2. 证 明克里克伯格 ( Krickbeg ) 分解： 任何鞅 X = ( X n ,^ n ), 只要 supE | X n | < 

00 , 都可以表示为两个非负鞅之差. n 

3. 设6 也…是 独立随机变量序列， &=& + •••+ 匕，而〜一 f ： 6•证 

明如下奥塔维安尼 （ Ottawiani ) 不等式： 



{ i ^ n ^ t>2£ 




n\Sn\ > e) 




并（在 E & = 0， i 彡1，的条件下）导出不等式: 





(53) 



§3. 4 基本不等式 
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4•设6，《2,…是独立随机变量序列，且== 0. 利用 （53) 式证明，在这种情 
形下有不等式 （10) 的 加强： 

8 E |5 n |. 

5. 证明 （16) 式. 

6 . 证明 （19) 式. 

7. 设 a — 代数叉0,…，少 n 满足，0 Q …，而事件 A k e ^ k (k = 
1, …， n ). 利用 （2 2 ) 式证明如下德沃列茨基 （ ilBopeuKwil ) 不等式：对于任意 e > 0, 

p ( Cj a) G + P |xjP(A fc |^ 1 )> e |. 

8 . 设 X = ( X n ) n > l 是二次可积鞅，而 ( b n ) n > l 是正实数不减序列.证明如下哈 
伊克-雷内伊 （ J . Hajek - A . R ^ nyi ) 不等式：对于任意 A > 0， 


P < max 




bl 


X 0 = 0 


9 .设 X = ( X n ) n ^ x 是下鞅，而贞 z ) 是非负递增凹（下凸） 函数. 那么，对于任意 


正 L 和实数 X ，有 




特别， 


P i max Xk ^ x ) ^ e 

l^Kn 




10 .设…是独立随机变量序列，且 E^ m = 0, = l ， n 彡1.记 

r = inf / n ^ 1 : [ > ol - 


证明 ErV 2 < oo . 

11 •设《 =(^ n ) n^l 是鞅-差，而 1< P <2. 证明 


Esup 

n^l 


w w 


w w 

< C P ^ E |^| 


其中 C P S 常数. 

12 .设 ； t = ( X n ) n > l 是鞍， Ef m = 0 ,Eg < oo , n > l . 证明（第四章 § 2 练习题 
5), 对于任意 n > 1和 e > 0,有 


P 


^ n Xk ^ e 


、 e^EXl 



.148 - 


第七韋构成软的随机变置序列 


§4. 下鞅和鞅收敛的基本定理 


1. 有界单调鞅序列极限的存在性下面的结果在整个下鞅收敛性问题中，可以 
视为数学分析中著名事实“有界单调数列有（有限）极限”的概率类似， 

定理1 (杜布） 设 X = ( X ny ^ n ) n>l 是下秧，且 

supE | X n | < oc , (1) 

n 

則以概率1存在极限 limX ^ = ,并且 EIX^I < oo . 

证明假设 

P { MiX n > UmA ' n } > 0. (2) 

那么，由于 

{ SnLY n > limXi } = U {> b > a > 

a<b 

( a ，6 是有理数)，故存在 《 和6,使 


P {\imXn > b> a > limX n } > 0. 


⑶ 


设 f3 n {a,b) 是序列 , X n 自下而上与区间 ( a ,6) 相交的次数，而= 
lim / J n ( a ,6). 根据 §3的 （37) 式，有 

n 


E " n ( a ，6) = 


E \ X n - a | 


a 




邮 + | a | 

6 — a 


因此， 


supEX ^ 4 - \ a \ 

E /3 oo («， b ) = IimE / i n ( a ， b ) 彡- - -- < oo . 

n o — a 


由⑴式以及（由于 EX ^ E \ X n \ - 2 EX + - EX n < 2 EX +- EX ,) 对于下鞅，有 


supE|J\T n | < oo <=> supEX^ < oo ^ 

n n 

然而,条件 m ^( a ， b ) < oo 与假设⑶ 矛盾. 于是，以概率1存在极限 limX n =^ oo , 
而由法图引理可见 

ElJfool < SUpE|X n | < oo. 口 

n 

系 1 如果是非负下鞅，則以概率1存在有限极限 limX n = Xoo . 

系2如果久= ( Xn ^ nU ^ l 是非正下鞅，則序列 

X=.(X n ^ n ), 1 < n < oo , Xoo = lim X n 和 ^no = ^ 
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构成（非正）下鞅 • 

事实上，根据法图引理， 


EXoo = ElimX n ^ limEX n > EXi > — 00 , 


且以概率 i ，有 

争 

E(Xoc| 少 ^ m ) = E(limX n |^ m ) ^ lhSE(X n J^ m ) ^ X m . 

f 

系 3 如果是非负上鞅，則以概率 1 存在有限极限 limX n . 
‘事实上，这时有 

supE|X n | = supEAn = EXi < oo, 


从而，可以运用定理 1. 

2. 鞅几乎必然收敛也是在 L 1 上平均收敛的条件设&，&，•••是独立随机变 
童序列，且 P 仏= 0}= P 仏= 2} = 1/2. 那么 ,X = ( X ny ^ n ) 是铁，其中 

n 

= XI ^ n = 吨1，… ，豸 n )， 

t=l 

且 EX n = 1 和 X n — Xeo 三 0 (P - a . c .). 同样，显然 E \ X n - EX ^] = 1, 从而 
Xoo . 这样，条件⑴一般不能保障在 L 1 的意义上 X n 收敛于 Xoo . 

下面将要介绍的定理2表明，如果将条件 （1) 加强为“随机变量族 { X n } 具有 
—致可积性”（那么，根据第二章§ 6 的第 5 小节知，性质（ I 6 )成立)，则 { AVJ 在 A 
意义上几乎处处收敛，同时也在 I 1 的意义上平均收敛. 

定理 2 设 A ： = ( X n ,， n ) 是下鞅，且随机变量族 { X n } 一致 可积. 那么，存在 
随机变量 Aoo , 且 EIXool < oo , 使当 n — oo 时，有 

— Xoo (P - ax .)， ⑷ 

Xn 么 Xoo . (5) 

这时，序列 X = ( X n ,^ n ), 1彡 n 彡 00^00 = (7 也构成下鞅. 

证明由定理1得⑷式，由⑷式和第二章§6的定理4的 （5) 式. 

其次，如果>1 € f „和 m 彡 n ， 则 

— Xqo \ —♦ 0, m — > oo , 

从而， 。 

lim / A ： m dP = f ^ dP . 

^°° Ja Ja 
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由于序列 


a 


X m dP 


m 彡 n 


是非降的，可见 


I X n dP^ / X m dP < / XocdP 
A Ja Ja 


于是，对于一切 n 彡 l ， X n < (Xoo|^n)(P ~ a.c.). 

• 系设 X = (An,^ n ) 是下秩，且对于某个 P> 1 , 

supE)X n | < oo, 


⑹ 


則存在可积随机变量 Xoo, 使 （ 4 ) 式和 （ 5 ) 式成立 . 

对于证明只需注意到，根据第二章 § 6 的引理 3 , 条件 （ 6 ) 可以保障随机变量族 
{X n } 的一致可积性 . 

3 . 鞅一致可积的充分和必要条件现在引进关于条件数学期望连续性的定理， 
是关于鞅的收敛性的最早的成果之一 . 

定理 3 (P. 列维 （ P. P. L 4 vy)) 设 （ n ，， ,P) 是概率空间，是非降 
a- 代数族： C C ... C 假设之是随机变量，且 ERI < oo, = 

a 那么，以概率 1 并且在 i 1 收敛意义上，有 


n) E(^l^oo), n — 00. 

证明设 ：^ =( 《，少 ^), 打彡 1 . 那么，对于 0 > 0 , 6 > 0 ,有 

/ l^nldP < / E(|e||^ n )dP= f 、 |€|dP 

= [ . KldP + f I^IdP 

< bP{\X n \ >a}+ f |4|dP 

Jm > b ] 


w+y { _ 咖 p . 


先令 a —> oo, 再令 6 — oo, 得 


lim sup 


f |^n|dP=0 

J {\ X n \> a ) 


⑺ 


这说明随机变量族 {X n } 一致可积 . 那么，根据定理 2 , 存在随机变量 X ( 
1 收敛并且在 L 1 中的收敛，有 X n = E(《|， n ) — 因此，只需设 


使以概率 


^oo = E(^l^oo) (P - ax.). 



设 m 彡 n ,>! e ，则 
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/ X m dP = / X n dP = / E ( d)dP = / ^ dP . 

J a Ja Ja Ja 

由于随机变量族 { X n } 的一致可积，且由第二章 §6 定理 5 知： 当 m — go 时，有 
KI \\ X m — Aoo | — 0，从而 

I ^ocdP = / ^ dP . (8) 

Ja Ja 

该等式对于任意 Ae ^ n 成立，因而对于任意4 € u 成立.由于 EIU < 

oo,EW < oo , 则 （8) 式的左右两侧都是亦可能取负值可加测度，不过这样的 
测度是有限的，并且在代数 G ，上重合.根据卡拉泰奥多里 （ C . Caratheodory ) 

n=l 

定理（第二章 §3 )，由于测度自代数到代数上的延拓的唯一性，可见对于集合 
AeF ^^ cr (\ JF n ) 下面的等式⑼ 成立： 

f XoodP = f 碑 = f E(d)dP ， AeJ^oo- ⑼ 

Ja Ja Ja 

随机变量 Xoo 和是 ，oo - 可测的，因此由 （ 9) 式根据第二章 §6 第 3 
小节的性质 I ，可见 = EwKP - a.c.). □ 

系随机序列 X = ( X nt J ^ n ) 是一致可积鞅，当且仅当存在随机变量< 
oo , 使对于一切 ri > l , X n =„)，（即 X = ( X ny ^ n ) 是列维 秩). 并且当 n — oc 
时； S ：„ — ($， n ) (以概率 1 收敛且在 l 1 中的收敛) • 

事实上，如果 X = ( X n ^ n ) 是一致可积鞅，则根据定理2存在可积随机变量 
Xoc ， 使 A — Xoo (以概率1收敛且在中的收敛)，并且 A = { X ^ n ). 这样， 
可以将（叉 oc - 可测）随机变童€取为 Xoo . 

由定理 3 可得逆命题. 

4. 应用列维定理的例下面举几个列维定理应用的例. 

例1 “0~1”律设6,如，…是独立随机变量序列，而少… 

是 “ 尾部”事件的 C 7- 代数， MAeJT . 由定理 3 可见 

E ( I A \^ n ) - E(/ a | ， L) = I a (P - a.c,). 

由于 与 （《 1 , . • • ，心）独立,可见 B(/y4|^n) = Ei>4, 因而 = Ei/l(P — a.c.), 
故 P(>1) = 0 或 P(yl) = 1. 

下面的两个例子，说明在 數学分 析中上面引进的关于收敛性的定理 • 

例2 如果/ = / Or ) 是区间 [0,1) 上的函数，并且满足利普希茨 （ R . o . S . 
Lipschitz) 条件，则/ = /Or) 绝对连续，并且由数学分析熟知，存在一勒贝格可积函 
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数分=分⑻，使 t 

/⑻- /⑼ = /* g(y)dy. ( 10 ) 

Jo 

(在这种意义上咖）是 / Or ) 的“导数”). 

现在说明由定理1可能得出这一结果.设 D = j 0， l )，^ = 乂(彳0，1))，而 P 是勒 


贝格测度.记 







^ n = ，€ n ) = ^{^ n } 而设 


vr /(《n + 2 — n ) —/(《 n ) 

Xn = -- • 

因为，对于给定的^的值，随机变量^ +1 只有&和 Cn + 2+叫两个可能值，且 
相应的条件概率都是1/2,所以 

EUO E(X n + 1 |en)- 2 n+1 E[/(^ n+1 + 2,(㈣) - /(en-fl)l^n] 

= 2" + 1 U[/(《n 十 2 一 (" +1) ) — /( 心 )]+ + 2-^) -/(4n + 2-(" 十 ”)]} 

= 2 n { f^ n + 2 - n )- f ( U )\^ X n . 

由此可见 ，； f = ( X n ^ n ) 是敕，并且由于|忍| < L ， 其中 L 是利普希茨条件的常 
数：1/⑻- f ( y )\ ^ L\x - y\. 注意，叉=义 ([0,1)) = (7( U ^ n ). 因此，根据定理3的 
系，存在，-可测函数分= g(x), 使 — 夕 （P - a . c .), 并且 

X n = E ( g \^ n ). (11) 


取集合5 = [ 0 } k / 2 % 则由 （11) 式，有 




x n 6x = 



g(x)dx. 


从而，因为 n 和的任意性，由此得所要求证明的等式 (10). 

例3 设17 = [0,1), - A (10， l ))， 而 P 是勒贝格测度.考虑哈尔 （ A . Haar ) 

函数系（由第二章§11例3的定义). 设少 „ = ( r ( H lr - ，队)，并注意到^= 
^([0,1))- a ( U ^ n ). 由条件数学期望的性质以及哈尔函数的构造,不难导出，对于 
博雷尔函数 /€ L ，有 


E [/( x )| J r n ] = a kH k ( x ) ( P - a . c .)， （12) 

fc=l 


其中 


oc k = if,H k ) = f f{x)H k (x)6x. 

Jo 
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换句话说，在函数 /( rr ) 按哈尔函数系的展开时，条件数学期望 E [/( x )|^ n ] 是傅里 
叶级数的部分和.那么，将定理3用于鞅 ( E (/|^ n )^ n ) 可得，当 n — oo 时 

n 

— /⑻ （P — ax .)， 

k = l 


和 

n 

二 (/ ， H k )H k (x) - f{x) dx -> 0 . 

k=l 

例 4 设 ( Cn ) n^l 是随机变量 序列. 根据第二章§10的定理2,如果级数 
以概率1收敛，则它也依概率收敛和按分布收敛.结果表明，假如随机变量6，&，••• 
独立，则逆命题也 成立： 若由独立随机变量0,6，...构成的级数按分布收敛， 
则它也依概率收敛和以概率1收敛. 

这一性质可以用如下方式证明. 设& =心十…+^小彡1，且& 土 S ， 
则对于每一个实数- Ee its , 显然，存在 (5 > 0,使对于所有 M < 5,有 
| Ee ifS | > 0. 取某 一 to , 使之满足如| < 5,则存在 no = n 0 ( to ), 使得对于一切 n 彡 n 0 , 
有 | Ee 心〜 | > c > 0,其屮 c 是某一常数. 

对于 n 彡 no , 建立一序列 X = ( Xn ^ n ), 其中 



Xn = ’ = a (《 i ， … ，匕) • 

由于假设随机变量《2，...独立，则序列 X = ( X n ^ n ) 是敕，且 


sup E | X n | ^ c~ l < oo . 

n^no 

那么，由定理1可见，以概率1极限 UrnX n 存在并且有限.因此极限1$也以 
概率1存在.因而可以断定：存在5 〉 n o , 使得对于集合 r ={ i ：| t |<4 中每 一个匕 
极限以概率1存在. 

n 

设 T x n = {( f , a ;) : t £ T,LJG Q }^{ T) y ^ T 上勒贝格集合的代数，而 A 
是在 ( T ^( T )) 上的勒贝格测度.其次，记 

C = {(t,u) €TxQ: hme xts - {u) 存在 }• 

n 

显然， ce 3( r )0 叉. 

上面曾经证明，对于每一个 f e T , P ( C t ) = 1，其中= { a ; G n : (t y u;) G C } 是 
在点 t 处集合 C 的截线.根据傅比尼定理（第二章§6的定理 8): 

[I c (t,uj)d{X x P ) = [ ( [ I c {t^)6p)dX= [ P ( C t )dA = A ( T ) = 26>0. 
JTxfi Jt \Jn / Jt 
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另一方面，仍然根据傅比尼 定理： 

A ( T ) - f / G ( f , u ;) d ( AxP )= f ( [ / c ( f T u ；) dA ) dP = / A ( a ) dP , 

Jtxu Jn \Jt / Jq 

其中 ^ = 

由此可见，存在集合 A 且 P ( G ) = 1，使得对于所有 o ; € 有 A ( C W ) = A ( T ) = 

2S > 0 . 

从而，可以 断定： 对于每一个 a ; € 和对于所有 f E G ， 极限 lini 存在； 并 
且集合 G 的勒贝格测度大于 0. 由此以及练习题8,对于每一个 u ; ln , 极限 lim 5 n 
存在且有限.由于 P ( fi ) - 1,可见极限 lim 5 n 以概率1存在并且有限. 

n 

5. 练习题 

1. 设{芡 是不增 a - 代数族 ，芡〗 ，芡 00 =门歹〃，而 W 是某一可积 
随机变量.证明定理3之如下的类似 成立： 当 n — oc 时， P - 几乎处处，以及在 L 1 
收敛的意义上，有 

E ( r /|^ n ) ^ E ( r / D . 

2. 设6,6,…是独立同分布随机变量序列， E | h | < 00, = m ,5 n 

首先证明（见第二章§ 7 练习题 2) 

E (€ i |5 n , 5 n + i , …）= mi \ Sn ) = — ( P - a . c .), 

n 

然后利用练习题 1 的结果证明强大数 定律： 当 n — 00时， P - 几乎处处以及在 L 1 
的意义上，有 

S n 

- ► m . 

n 

3. 证明如下反映“勒贝格控制收敛定理与 P . 列维定理”联系的结果.假设 
(^ n ) n ^ l 是随机变童序列，满足：& -^( P ^ a . C.)，KnK "，吻 < 00,而是 
非降 <7-代数族, ( U ^ m ). 那么 ， （P — a . C .) 

lim E (6 zD = E ( d ), 

m—►oo 


4. 证明 （12) 式 . 

5. 设 ft = [0, l)，f = 义 ([0,1))，P 是勒贝格测度,而 / = /(x) € i 1 . 记 

r (Ar+l)2-，* 

fn(x) = 2 n / f(y)dy, 彡 X < (fc + 1)2— n . 

J k 2 叫 1 


证明 /n ⑷ — /(x)(P - a.C.). 
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6.设 n = [0,1)， 〆 =义([0，1)) , P 是勒贝格测度， M / = f ( x ) € LK 假设该函 
数在 [0,2) 上是周期的，并设 


2 11 

/ n (x) = ^2- n /(x + i2-"). 


证明 fn ( T ) 一 /( X ) (P - a . C .). 

7. 证明，如果 X = ( X n ^ n ) 是广义下鞅 （§1 定义2)，满足 

inf sup E ( X ^"|^ m ) < oo (P - a . c .), 

n n^m 

则对于 x = ( X ni ^ n ) 定理 1 仍然成立， 

8 . 设 K ) n ^ i 是一数列，对于一切实数 t ：\ t \< S(S > 0), 存在极限 \\ me ita ^ 证 


明极限 lim 〜，存在并且有限. 

n 

9.设 F = F(x),x€R, 是分布函数 , Mae (0,1); 假设存在 6> e R ， 使 F {9) = a. 
构造序列 X U X 2 , … (罗宾斯-门罗 [ H . Robbins - Monroe ] 方法)，使 


X n+1 =X n ^n^ 1 (r n -a), 


其中…是满足 


P ( V ^ = y \ X \,- - - , X n ; yj ， …， Y n -\) 




( F ( X n ), 
\ l - F { X n ), 


若 ！/ = 1 ， 
若 V = 0, ’ 


的随机变量. 

证明“随机逼近”理论的如下结果： E \ X n - 0\ 2 — 0 ,n — oo . 

10.设 X = ( X ni ^ n ) n ^ 是下鞅， 且对于每一个停时 t , 有 E ( X t /(t < oo )) ^ oc . 
证明以概率1极限 limX n 存在. 

n 

11•设 X = ( X ni J ^ n ) n ^ 是鞅 •而 ， oc = CT ( Q ^ n ). 证明，如果序列 ( X n ) n ^ 

—致可积，则极限 Xoc = HmX n ( P - a . o .) 存在,且^封闭”序列又= ( Xn ^ n )^^ 

是紗. " ^ 

I 2 .设久 = { X ny ^ n ) n > l 是下铁，而义 OC = 4 0 ， n ). 证明，如果序列 

( X+) n> i 一致可积，则极限 Xoo = limX n (P - a . c .) H 且 “封闭”序列 X = 
{ X n > S ^ n ) l ^ n<oc 是下铁. 


§5. 下鞅和鞅的收敛集 

1. 随机序列类 C + 设 X = { X n ^ n ) 是随机序列以 {Xn —} 或 {-0 C < 
limXn < 00 } 表示“使 lim X n 存在和有限的基本结局的集 合”. 对于任意二事件乂 
和 B ， 如果 P { I A < I B ] = 1,则亦称 A C B(P - a.c.). 
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如果入是下鞅且 supE | X n |<oc (或者等价地 supEX + < 00 ), 则根据§ 4 定理 

1，有 

{ X n —} = (P - a . c .)， 即 { X n -^} = 0. 

现在讨论，在条件 supE | X n | < oc 不成立的情况下，关于下鞅的收敛集合 
{ X n 的结构 问题. 

设 a > 0， 

_ f inf{n 彡 1 : > a }， 若 {.} / 0， 

\ 00, 若 {•} = 0. 

定义如果对于任意《>0,有 


E ( A . V r J + /( r a < 00 ) < 00 , 



则称随机序列 X = ( X n ^ n ) 属于类 C^(Xe C +), 其中 AX n = WnXo = 0. 


显然，如果 


Esup | AX n | < 00 


( 2 ) 


\M X e C + ; 特别，如果 （P - a . c .) 对于一切 n > 1, 

\ AX n \^ C < oc . (3) 


定理 1 如果下鞅则 （P — ax .) 

{supX n < OO } = {A"„ — ►}. ⑷ 

证明包含关系 {Xn —} [ { sUpX n < OO } 显然.为证明相反的包含关系，考虑 
“停止” 下鞅 P = ( Un ). 那么，由于 （1) 式，有 

RiipEX 7 ^ An ^ a-hE[X+/{r Q < 00}] ^ 2 a + E[(AX r J + J{r a < 00}] < 00. ( 5 ) 

n 

从而，由 §4 定理1 (P - a . c .)， 有 

{ r a = 00} C {X n 


由于 

[^J — ooj — {sup Xn "C 00}, 

a>0 

可见 { supX n < 00 } C { X n — >}(P - a . c .). 


□ 
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系设入是鞅，且 Esup|AA n | < 00 . 那么， 

{ X n — }U {limX T , 二 — c»JimX n = +00} = D (P - a . c .). ( 6 ) 

实际上，将定理1用于入和- X ,可得 


{ limX n < oc } = { supX n < 00} = { X n — »} (P — a . c .)， 
{ limX n > -00} = {inf X n > —00} = { X n —>} (P - a . c .). 


因此， 

{ hmX n < oc } IJ { limX ” > - 00 } = { X n —►} (P - a . c .), 

于是 .(6) 式得证， 

命题 （6) 表示，对于满足条件 Esup | AX n | <oc 的鞅 X 的几乎一切轨道，或者存 
在有限极限，或者这些轨道按如下意义上，表现“不好”： h ^ X n = + 00 , limXn = - oo . 

2. C + 类非负鞅的性质如果心，《2,…是独立随机变量序列 ，且 =0,|心 | $ 
c < oc ， 则根据第四章§2定理1，级数5：心收敛 （ P - a . c .)， 当且仅当< oc .序 
列 

X = n ), X n = + …+ 《 n , ^ n = … i }， 

是平方可积鞅，且 ( X) n = t 而可以将命题表述为如下形式： 

i—l 

{〈 X〉oo < oc } = { X n -♦} == n , (P - a . c .)， 


其中 ( X)oo = Wm ( X ) n . 

n 


下面的命题将这一结果推广到鞅和下鞅的更一般的情形 • 
定理2 设X = ( X n > J ^ n ) 是下秩，而 


义 n 二.爪 n + An 


是其杜布分解. 

a) 如果 X 是非负下鞅，则 

{Aoc < 00} C {X n ->} C {supX n < 00} (P - a.c.). ⑺ 

b ) 如果入 €C '则 

{U = {sup X n <oo}C {A^ <00} (P - a.c.). ⑻ 

c) 如果 X 是非负下鞅，且 X € C + ， 則 

{X n —>} = {supX n < 00} = {Aoo < oc} (P - a.c.). ⑼ 
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证明 a ) (7) 式的第二个包含关系显然.为证明 （7) 式的第一个包含关系，引进 


时间 


G, 


inf{n 彡 1 : A n+ \ > a }, 若 a > 0, 

+ oc ， 若 {.} = 0. 


那么， ，彡 a , 且由于§2定理1的系1，可见 


设 y；a = X nA ^则 r a = 是下較，其中 sup EY « < “ < CX )， 而由于其非负 

性，由§4定理1， 可见. 

^ } = {^a = 00 } ^ {-^n ~ >} (P - a.C.). 

因此 

{ A^c < oo} = U {Aoo ^ a} C { X n -^} (P - a.C.). 

a>0 

h ) 由定理 1 可得⑻式的第一个等式.为证明 （8) 式中的包含关系，注意到，根 
据关系式 （5), 有 

EAr ,,^ =： EX ToAn < EX T ^ An <2 a + E [( AX Tti ) + /{ r a < 00 }]， 


从而 

= Elim A TuAn < 00 • 

n 

于是，由 

Ut r « = : 00 } = { supX n < oc }， 

a>0 

得 { r a = oc}C {Aoc < 00 } 和所要证明的 （8) 式. 

c ) 该命题是命题 a ) 和 b ) 的直接推论. 口 

注可以将 “X 的非负性”条件换成 supEX - < 00 . 

71 

系1 设； =心+ ••• + $„，其中&彡 0， E & < 00 ,且&为可测的，而 
多 0 = {0 ，叫那么 ， （P - ax.) 

E^nl^n-l) <Oolc{X n -.}, (10) 


并且 • 如果 Esup^ n < oc , 则 ( P - ax .) 



00 


^ E ($ n |^ n - i ) < 00 


= { X n ^}. 


( 11 ) 
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系2 (溥雷尔-坎泰利-列维引理）如果事件 B n € 则在 （11) 式中设 

，得 ( P - a . c .) 

< oo | = | fj/ Bn <<X)|. (12) 

3. 平方可积鞅的性质 

定理 3 设 M = { Mn ^ n ) n ^ V 是平方可积鞅，則 （ P - a . C .) 

{(M)oo <oo}C {M n -}. (13) 

假如还满足 Esupl ^ Mnl 2 < 00 ,那么 （ P - a . c .) 

{(M)oo < oo } = { M „ —}， （14) 


其中 

OO 

( M )^ = Y , E [( AM n ) 2 \^ n ^l (15) 

ns=l 

而 M 。= 0，义。 ={0， Q }. 

证明 考虑两个 下鞍: M 2 = (Ml 义 n )*(M + l) 2 = ((M + lg，^ n ). 那么，在 
它们的杜布分解 

M 2 = < + < 和 (M + l) 2 = r< + ^ 

中随机变童和^相等，因为 

A ； -^E(AM n 2 |^_i) 

fc = l 

而 n n 

A \[ - ^ E [ A ( M k 4 - l ) 2 |^ fc - i ] = j 2 E ( AM ' n \^^ i ) = A f n . 

k=l k=l 

从而，由 （7) 式，以概率 1 有 

{(A/)oo < oo} = {A^ < oo} C {Ml -»} fK(M n + l ) 2 —} = {Afn —}• 

由于⑼式，为证明 （14) 式只需验证，条件 Esvip|AM n | 2 <oo 可以保障下鞅 M 2 属 
于 C 十类： A/ 2 e C+. 

设 T a = inf{71 ^ 1 : > a}，a > 0,则在集合 { r a < 00} 上，有 

|M^| = |A/^ - MU ‘ H - A/r a -i| 2 + 2IAU • 队 - M Ta ^\ 

^(AM Ta ) 2 -f-2a l / 2 |AM r J ? 



由此，得 
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E\Ml\I{r a <oo}^ E(AA/ T J 2 /{r a < 00} + 2 a 1 / 2 V / E(AA/ rH p/{r a < o^} 

彡 Esup |AM n | 2 + 2a 1/ VEsup|AA/ n | 2 <00. □ 

作为应用这一定理的例子，我们引进下面的结果.可以视为平方可积鞅的强大 
教定律的独特形式（对照第四章§3定理2,以及第四章第3小节系 2). 

定理 4 设 A/ = (A/„，.U 是平方可积鞅.而是可预測的递 

增序列，且山彡 l,i4oo = oo(P - a.c.). 


如果 （P — a.c.) 




(1(5) 


则以概率1，有 


Mn 


0， 71 — 00 


(17) 


特别，如果 〈 A/> = ( 〈 A/ 〉 n ， ^n-l) 是平方可积鞅 M = (A/ n ,^ n ) 的二次特征，且 


( M ) 


oo(P-a.c.), 则以概率1，有 

Mn 

WTn 


0， n — 00 . 


证明 考虑平方可积鞍 m = ( m n ，多 n ) ，且 


(18) 


m 


△M 


那么， 


〈爪〉 n 


^ EKAMO 2 !^-!] 
乙 42 


(19) 


由于 


Mn _ k 

X — 


f 9 

E A k ^ rn k 




可见，根据克罗内克引理（第四章§3)，如果以概率1存在有限极限则 


Mn 

A n 


0， n — 00 (P — a . c .)- 


而由于 （13) 式，有 


{( m)oo < cx >} ^ {m 


( 20 ) 


因此由 （19) 式可见， （ lfi ) 式是 （17) 式成立的充分条件. 
最后，假如 A n = ( M ) n , 则条件 （16) 自然成立（练: 



□ 
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例考虑独立随机变量序列6，《2,…，且= 0, D ^ = Di > 0,而序列 X 


( X n ) n ^ o 决定于如下递推 方程: 


^71 -+ 1 


+ 《 n +1， 


( 21 ) 


其中 Xo 不依赖于心…，而 ^(- oo <^< oc ) 是未知参数. 

我们把视为在时刻 n 的观测结果，并且要求估计未知参数仏以量 




r~r ； ^+1 


k =0 



( 22 ) 


A: 2=0 


为根据观测结果 Xo ，；^ ，…， X n ，对0的估计，且当分母为0时，设& = 0•(&是由 
最小二乘法得来的估计 .） 


由 （21) 和 （22) 式，显然有 


O n = 0 ^ 




石， 


其中 


Mn 




m n 


v xj 

乙 Ab+i 


k =0 


因此，假如未知参数的真值为^则 


P{^n - 0 } 


(23) 


当且仅当 ( P - 


Mn 


(24) 


现在证明，条件 


sup <00 

n U n 




A 1 I = oc 


(25) 


对于 （24) 式是充分的，因此对于 （23) 式也是充分的.有 


E 


= E ( Xn - n — ^ 


D n 


D n 






A 1 ] = oo > C {(M)oo = oo}. 


于是， 
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根据“三级数”定理（第四章§2定理3)，若级数 

发散，则级数 

L )， 

以概率1也发散.从而， P{(M)oo = 0C} = 1, 故由定理4的论断⑺直接得 （24) 式 • 
具有性质 （23) 的估计量 &，n > 1，称做强 相合的 （对照第一章§ 7 中 “相合性” 
的概念). 

在下一节§6的第5小节，对于高斯序列6,6 ••- 的情形，将继续这个例子. 

定理 5 设 A ： = ( X n ^ n ) 是下秩，而 

是其杜布 分解. 如果 | AX n | ^ C , M (P - a . c .) 

{(m)oc + Aoc < oo} = { X Tl - (26) 



{x n = {x n n < oo} ^ {x n n {^oc < oo} n { 心 —} 

= { X n ->} n {^oo < oo} n {(m)oo < oc} 

={X n P) {Aqo -f- 〈 TTl>oc 〈① } 二 {Aoo + 〈爪〉 oo 〈 



最后，由于 （29) 式，有 
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n 

(m)n = Y, {E[(A^) 2 | 多 Vi 卜 [E(AX k \^ k ^)] 2 }; 

fc=l 

可见 （ 26) 式和 （ 27) 式等价.而由非负项级数 

OC 

Ee (△為 IU 

k=l 

的收敛性，可见级数 ％ 

k=l 

的收敛性. 口 

4. 级数 ECn 的收敛集合柯尔莫戈洛夫“三级数”定理（第四章 §2 定理 3) 
给出了，独立随机变置的级数以概率1收敛的充分且必要条件.下面的定理 
6,在不假设随机变量&，&，•••独立的情形下，给出了级数之收敛集合的描述， 
而其证明基于定理2和定理 3. 

定理6 假设 < =(匕，，‘ V 是随机变量序 列，， 0 = (0,0) 而是正常数.那 
么，级数在集合 A 上收敛，其中4是使三个级数 

乙 P (| w )，^ E (^|^ n _0, ^ D (^|^ n - l )> 

同时收敛的集合，其中 Cn = Cn /( Kn | ^ c ). 

证明设级数 X n = t^k • 由于级数 EP ( l ^ n | ^ C \^ n ^) (在集合乂上）收 
敛，则根据定理2的系2, 及级数 EE (^|^ n - l ) 收敛，有 

a n { x n 一} = a n {《。/ ㈤ 一} 

=An < c) 一 E(4 fc /(|6I ^ c)\^ n ^))-^y (31) 

设％ =线一 E(C k \^n-l) 和 K 那么 ， y = (Yn,^n) 是平方可积鞅，其中 

fc=l 

|%| ^ 2c. 根据定理 3 ， 

A g {Y,m C n\^n-l) <Oc}= {(y)oo < DO 卜 {V ； —}. 

因此，由 （ 31) 可见 


于是 ， A C {An ~ 


A f | {X n = A. 


□ 
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5. 练习题 

1. 证明，如果下鞅 .Y = ( X n ^ n ) 满足条件 Esup | X n | < cx ), 则它属于 C + 类. 

2. 证明，对于广义下鞅，定理1和定理2仍然成"立. 

3. 证明，对于广义下鞅，以概率1有包含关系： 

(inf sup E(X^ ]^ m ) < oc\ C { X n ->}. 

I m n 彡 m J 

4. 证明，对于广义鞅，定理 1 的系仍然成立. 

5. 证明， C + 类的任何广&下鞅是局部下鞅. 

6•设 a „ > 0 ，n 彡 1;6„ = a / t , 证明 

k^l 


oo 

E 






< 00. 


7.设心,6,&，...是一致有界随机变量序列：1心| 证明级数 


和 

n^O 


1-1)， 

n^l 


以概率1或者同时收敛，或者同时发散. 


§6. 概率测度在带滤子可测空间上的绝对连续性和奇异性 

1. 测度的局部绝对连续性和奇异性设 ㈨ ，义 n ) 是某一可测空间，而 (^ n ) n ^ 
是该空间上的 C 7- 代数族，且 ， i es £ • • • ，其中 

( 1 ) 

假设在上有两个概率测度 P 和会 .记 

P n - P]^ n P n = P|^ n 

为两个概率测度在上的收缩，即 P n 和合 n 是 (0,^ n ) 上的概率测度，并且对 
于 Se ， n ， 有 

P n (B)=P(B), P n (B) = P(B). 

熟知,测度 p 称做关于测度 P 绝对连续的（记作 P 《 p )，如果 Pn(A = 0,4 e 
，则必有乒 nM )=0. ~ 

如果吞《 P 且 P 《分，则称测度 P 和乒$等价的（记作乒〜 P ). 

测度分和 P 称做奇异的或正交的（记作吞丄 P )， 如果存在集合 A € f ，使 
吞 ( A 卜 1 和 P ( A ) = 1. 



§6. 概率测度在带滤子可测空间上的绝对连续性和奇异性 


loc 


定义1称测度#关于测度 P 为局 部绝对连续的 （记作 ^<< P )， 如果对于任 


意 n > 1，有 


Pn «P 


( 2 ) 


~ loc 


这一节考虑的基本问题在于说明，由局部绝对连续性 p << p , 说明 p 《 p ， p 〜 
p 、 p 丄 P 等性质成立的条件.我们以后将清楚地看到，鞅论是可以全面地回答这些 
问题的数学工具. 

回忆.在第三章§9中.对于任意概率测度，讨论过概率测度的绝对连续性和奇 
异性问题.曾经说明，利用海林格 （ E . Helinger ) 积分可以表述相应的准则（定理2和 
定理 3). 下面引进的关于概率测度的绝对连续性和奇异性的结果，亦可由这些准则 
得到（在专著丨 84 M 87] 中陈述了有关方法).为更完整地演示运用§5中关于下鞅的 
收敛集合，我们在此倾向于略有不同的叙述方法.（注意，这一节全部叙述，假设局部 
绝对连续性成立的.这样做仅仅是为了简便.对于一般情形，请读者参阅[84]， [87]). 


loc 


这样，假设卢 < P . 设 




dP 

dP 


是瓦关于 P 。 的拉东-尼科迪姆导数.显然，、为 牙 n - 可测，并且如果4 
则 






dP 

dP 


^dP = P n ^(A) = P n (A) 



ciP 

dP 


dP 



2 n dP 


由此可见，随机序列 2 = ( Zn ^ n ) n ^ l 关于测度 P 是秩. 

在“绝对连续性和奇异性”的全部问题中，关键环节是下面的定理 
定理1 设多窆 P . 

a ) (P + P )/2 以概率 1 存在极限 lim ^ n , 记为 W ， 使 

71 


P{Zoo = 00 } 


b ) 有如下勒贝格分解： 

P(A) = f 2oo ciP 十 r(A n {Zoo = 00 })，A € 义， (3) 

J A 

而且測度乒 ( Afl {2 oc = oo }) 和 P ( A),A € 是奇异的. 

证明 我们首先 指出， 根据经典 的勒贝格分解 （第三章§9的 （20) 式)，任意概率 
测度会关于概率测度 P 有如下表现： 



其中 
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dP ~ 
dQ ? 3 


dQ 


而其中测度 Q， 例如可以取作 Q = (P + P)/2. 这样， （3) 式可以视为一般分解⑷的 
具体化，与所考虑情形的如下特征相联系： f 麥 P 即会„《 P n ，n > 1.设 


HP 

一 n 〜 一 —— ft 
in — irx ， in = 

d Qn dQ n 


dP n 


(Pn + Pn ). 


序列心，叉 n) 和 Chn ^ n ) 关于测度 Q 是鞅,并且满足0彡 3ri 彡2, 0彡] n 彡 2. 
因此（根据§4定理2)，既关于测度 Q 几乎处处，又在 L^a^Q) 的收敛意义上存 
在 极限： 


3oo = lim3n ， loo = limjn. 
n n 

特别，由在叉， Q ) 的意义上收敛，可见对于任意，有 


⑼ 


JJ 身过调 



XmdQ = P ， „M) = P ⑷. 


那么，由卡拉泰奥多里 （ C . Caratheodory ) 定理（第二章 §3) 可见，对于任意 Ae ^ 

有 



IoodQ = P ⑷， 


即 (1?^=^; 类似地，有 



3ocdQ = P ⑷， 


即 dP/dQ = 3oo 


从而，这就证明了自然期待的 结果： 假如测度 P 和 Q 定义在^ 




上，而 Prz 和 Q n 是这些测度到上的收缩，則关于测度 Q 几乎处处和在 L l ( Q y 
，,Q) 收敛的意义上，有 

r dP n dP 

hm ——=— 

n dQ n dQ 


类似地，有 


lim 


一 ■ ▼ 響 

dP n dP 
dQ^^dQ 


在我们所讨论的特别情形下，即当？ n 《 P^n > 1，时，不难证明， （Q-a.c.) 有 




⑹ 


这时，由于 


QUn = 0 Jn = 0} ^ - [P{3n = 0} + P{?n = 0}] = 0, 
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因此，可见在 （6) 式中 ( Q - a . c .) 不会出现形如0/0不定式的情形. 

形如2/0的记号，像通常一样认为等于 +00. 需要指出，因为 ( z n ， n ) 是非负 
戟，所以由§2的 （5) 式可见，如果 — = 0,则对于一切 n 彡 t ( Q - a . c .), z n = 0. 当然， 
同样对于 ( z n ^ n ) 也是一样.由此可见，点0和 + oo 也是序列的“吸收状 
态”. 

由于 （5) 式和 （6) 式可见， Q - a . c . 存在极限 


= lim z. 


U n m ^ _ Joe 

lim 紜 3oo 


⑺ 


因为 


P {3 oc = 0} 




3oodQ 


所以 P {2 oo = oo } = 0 , 因而定理的命题 a ) 得证 • 

为证明 （3) 式，利用 （4) 式的一般分解.对于现在所考虑的情形， 
结果： 


由己经证明的 


dP 

dQ 


〜 dP 
^dQ 


lex ； (Q - a . c .), 


知由⑷式，得 


尹⑷ 



3oc 


A 3oc 


dP + P(A n { 3oo = o}); 


由 （7) 式，以及由于 P{Ioo = 0} = 0,得所要证明的 （3) 式.最后注意到，由于 
Piz ^ < oo } = l , 可见对于则测度 

P ( A ) = P{A n {^oo < oo }) 和 P ( i 4 n {^oo = oc }) 


是奇异的. 


由勒贝格分解 （3), 可得如下关于局部绝对连续概率测度的，绝对连续性和奇异 


性重要的准则. 


loc 


定理 2 设 P 《 P, 即 P n <P n ,n>l. 那么， 

P 《 P 分 E^oo = 1 O P{Zoo < OO} 

P 丄 P O EZoo = 0 «=> P{Zoo = 00} 

其中 E 表示对測度 P 的平均（數学期 望). 

证明 在 （3) 式中设 z = a 得 

Ezqo = 1 勞 P{2qc = oo} = 0 ， 




0 <=> P{2：oo = oo} 


⑻ 

⑼ 


( 10 ) 

( 11 ) 
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如果 P {2 oc = 00 } = 0,则仍然由 （3) 式可见 P < P . 

相反，假设 P 《 P . 那么，由于 P {2 oo = OO } = 0,可见 P {2 oo = OC } = 0. 

其次，假如？丄 P ， 则存在集合 Be ，， 使= 1和 P ( B )=0. 那么，由 （3) 
式可见乒 (B 门 {2 oo = 00}) = 1，因此 P{Zoc = 00 } = 1. 相反，假如 P {2 oo = 00 } = 1, 
则因为 P{ 2oo = 00 } = 0,所以性质 P 丄 P 显然. 口 

2. 应用绝对连续性和奇异性准则的例由定理2知，绝对连续性和奇异性准 
则，或者可以用测度 P 的术语表示验证等式 Eke = 1或 E Zoo = 0), 或者可以通 
过测度戶的术语表示（并验证等式 P {2 oc < 00 } = 1或 P{ Zoo =00} = 1). 

由第二章§6定理5知，条件 E ^ = l 等价于条件“随机变量族{2„}^1 (关于 
测度 P ) —致可积”. 这一情况，使得可以给 出绝对连续性 p < p 简单 的充分条件. 
例如，若 

sup ^[zn ln + z n ] < 00 (12) 

n 

或如果 

supE [4 +e ] < 00 ， £ > 0, (13) 

n 

则由第二章 §6 引理 3 知，随机变量族 KJn^l 一致可积，因此会《 P . 

在许多情形下，更倾向于运用通过测度戶的术语表示的准则，因为这时可以归 
结为“尾部’，事件< 00} 之 P - 概率的研究，而这里可以利用 “0-1” 律类型的 

论点.作为例子，我们现在讨论如何由定理2导出 角谷择一性. 

设 （ D ，，, P ) 是某一概率空间， （ R 00 , 义 oo ) 是数列 ：c = ( ari ， x 2 ，...） 的空间， 

其中 ^oo =方 ( R °°)， 而= a ( Xi ， … ， X n ). 假设《=(《1，$2, …) 和《=(6,厶，…) 
是两个独立随机变量序列. 

记 P 和戶相应为随机变量 《和 f 在 ( R °°^ oo ) 上的概率分布，即 

P(B) = P{^ G B}, P{B) = P{^eD), Be ^00. 


亦假设 


p n = pl ^ n , p n = Fl^ n 


是 P 和戶测度在上的收缩，且对于4 e 义嗶 1 )， 


P ^( A ) = P{^ n eAh 

P l ( A ) = P {^ n eB }. 

定理 3 ( 角谷 （ S . Kakutani ) 择一性）假设 € = (6，&，…）和 f = (5 石，…) 
是两个独立随机变量序列，且满足条件 

Pj 《 P 。、 n 彡 1. (14) 

那么，要么 P < P , 要么戶丄 P . 
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~ loc 


证明显然，条件 （14) 等价于条 件：仏 《 P n ， n 彡1，即 P 《 P . 




其中 


dPr 

Qi ( x i ) — ( x i )- 


(15) 


从而 


{x : < oo} = {x : In Zqo < oc} = l ^ ： In ❼⑻） < oo 


事件 


x : 2^ lngi ( xj ) < oo 


是“尾部的”.因此，由柯尔莫戈洛夫 “0-1” 律（第四章 §1 定~理 1) 知， 概 - P{：r •• 
z ^< oo ] 只有 "0 或1”两个可能值.于是，根据定理2,要么戶《 P , 要么# 丄 P . 口 

3. 测度的绝对连续性和奇异性与“可预测性” 下面的定理用“可预测的”语 
言，给出绝对连续性和奇异性的准则. 

定理 4 设合!^ P ， 

= ^nZn-\y 打彡 1 ， 

其中2 0 = 1 •那么(少 0 = {0,^}), 


P < P P i t [1 — E(v / ^T|^ r n-l)] < OO 


(16) 


P 丄 P 公乒 j ^[1 一 E(^l^n-l)]=00 


(17) 


证明因为 


P n{^n — 0} 



ZnC\P 


所以 （P _ 8 LC .) 


= n = exp < ^ lna fc > . 


(18) 


在 （3) 式中设 4 = boo = o }， 得 P { 


0} = 0. 因此，由 （ 18) 式， （P - a.c.) 有 


{4 ：oc < oo } = {o < 2oo < oc } = {0 < lim z n < 00 } 


{- 


w V 

00 < lim In ak 


< 00 > • 


(19) 
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引进函数 


u(x) 




Xy |^| ^ 1, 

sign x, |x| > 1. 


那么， 


E 


n 




OO < 


^ u(ln a k ) 


<oc 


( 20 ) 


k 


k 


以 E 表示对测度戸的数学期望，而7?是 ^ n - 可测可积随机变量.由条件数 
学期望的性质知（练习题4)， 


一 和 ？— a.C .)， 

E ^ l ^ n - i ) = n -\) (P - a.C.). 


( 21 ) 

( 22 ) 


注意到， a „ = 由 （22) 式得“条件数学期望的换算公式”的如下重要变式（第 

二章 §7 的 （44) 式)： 


E (7/|^ n _ i ) = E ( a n v \^ n - i ) ( P - a . c .). 


(23) 


特别 1 由 （23) 式可得 


E ( a n |^ r n _ i ) = 1 (P - a . c .) 


由 （23) 式 ，有 


E [ w ( lna n ) j ^ n _ i ] = E [ a n u ( lna „)|^ n _ i ] (P - a . c .) 

因为对于 一 切 x > 0,有 xu ( lna :) 彡 x - 1,故由 （24) 式，有 

E [ u ( lna n )|^ n _ i ] > 0 (P - a . c .). 

由此可见，随机序列 X = ( X n ，， n )， 其中 


(24) 


w w 

X n = fu(lnafc )， 


k 


关于测度 f 是下鞅，且 | AX n | = Kin ^)| < 1. 
那么，根据§5的定理 5( P - a . c .) 有 


OO < 


lim y^u(ln Qfe) 


< OO 


k 


( oo 


< ^E[u(lnQ fc ) + u 2 (ina k )\^k-i] 


<00 


\ fc=l 


(25) 
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这样，由 (19) ， (20) ， （ 22) 和 （ 25) 式， （P - ax.) 有 


{:oo < oo } 


^E[ 7 /(lna fc ) -hu 2 (lna fc )|^-i] 


< oo 


、 r 擊-參 

S y^E[a fe ti(ln Q fe ) 

\ k= 1 


^a k u 2 (\na k )\^ k -i] < oo > , 


从而，由定理2,有 


P 《 P 分 P ! y^E[afcix(lnQ fe ) 4-< oo 


(26) 


P 丄 P 公 P j y^E[a fc u(lna fc ) + a k u 2 (\na k )\^k-i\ 


= oo 


(27) 


现在注意到，由 （24) 式，有 

E((l - 


2 E [1 — (P - a . c .). 


且对于一切 x^O, 存在常数 4 和 B(0 < 4 < B < oo), 使 

A(1 - \/x) 2 ^ xw(lnx) -h xu 2 (\nx) + 1 — x < B(l — y/x) 2 . (28) 

于是，由 （ 2 6) ， （ 2 7) 和 (24), (28) ^ 得结论 （ l 6 ) 和（⑺式. □ 

系 1 假如对于 P 麥 P ， 及任意 n 彡 1 ， （ 7 - 代數 7( 知）和 ( 关于测度 P 
( 或 P)) 独立，则乒《 P 或乒丄 P 两种情形必有一个并且只有一个成立.这时 

OO 

P 《 P 分 [1 ~ Ey/a^] < oo, 

m=l 

oo 

P 丄 P <=> [1 - Ey/a^\ = oo. 


特别，对于角谷的情形（见定理 3 )， 


qn 而 


P 《 P O [1 一 Ev^m ( 工 m)l < CX). 

m=l 

oo 

P 丄 P 公 y^[l - E>/g m (XnJ] = OO. 


系 2 设多窆 P , 則 


E(a m In a m |^m-i) <oc>h = l=>P《P 


卜 
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为证明.只需注意到，对于任意 X > 0,有 


x\nx + ~(1 - x ) 彡 1 - x 1 / 2 , 

并利用 （16) 和 （17) 式. 

系3因为 （P - a . c .) 非负项级数 

f ^( l - 与 I lnE ( v ^|^ n - i )| 

n=l 

同时收敛或发散，則定理4的论断 （16) 和 （17) 式可以写成如下的形式: 

P 《 P 分 P | lnE ( v ^|^ r „_ i )| < 00 


P 丄 P o P 


Ln=l 


i )| = 00 


系 4 设存在常数 0< A <1 和使 


P { l - A ^ Q n ^l + B } = l , n ^ 1. 


loc 


那么，如果 p 《 p , 则 


( 00 


P 《 P 分 P { E E[(l - a n ) 2 |^ n - i ) < 00 

ln=l 


1 


oc 


P 丄 P 分？ 《 E[(l - a n ) 2 |^ n _ i ] 


oo 


( 29 ) 


(30) 


(31) 


为证明，只需注意到，对于 x € [1 - 4，1 + B ],0 < 1 和 i ? > 0,存在常数 c 

和 C (0 < c < C < 00 )， 使 


c ( l - x ) 2 ^( l - Vi ) 2 ^ C ( l - x ) 2 . (32) 

4. 哈伊克- 费里德曼 择一性假设< =和€ = (5 石，…） 是两个 
高斯随机变景序列，且（在第 2 小节的记号下）戶 n 〜 尸 n，n > 1. 我们说明，对于这样 
的序列，如何由上面得到的“可预测”准则，得出“哈伊克-费里德曼 （ J. Hajek H . 

M . Friedman ) 择一性”： P 〜 P 或戶丄 P 二者必居其一 • 

根据正态相关定理（第二章§13定理 2), 条件数学期望 E (: r n | 义 n — i ) 和 
E ( x n |^ n _ i ) 是:^，… , x n _! 的线性函数，其中 E 和6相应为对测度/>和 P 求数 
学期望.以 a n _ i ( x ) 5 W a n _ i ( x ) 分别表示这些(线性）函数 ( o 0 ( x ) = a 0 和 a 0 ( x ) = a 0 

是常数).记 


6 n -i = ( E [ x n - a n _ i ( x )] 2 ) 1/2 , 
6 n -i = ( E [ x n - a n _ i ( x )] 2 ) 1/2 . 
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根据上面提到的正态相关定理，存在均值为0、方差为1的，高斯随机变量序列 

£ =卜 1 ，句，...）和？=(? 1 ，? 2 ，".)，使得 (P - a . c .) 


Cn = 1(0 + 

= dn —1(0 + 办 7 i — l ^ n . 


(33) 


注意，在 = 0(6 n _! = 0) 情形下，为构造随机变童 e n ( I n ) y 一 般不得不扩充 
概率 空间. 不过，假如 = 0 , 则随机向量( X !,... , x n ) 的分布 （ P-a.c.) 集中在线 
性流形 Tn = a n _i(x) JL . 因为根据假设戶 n 〜 Pn ， 所以 ^> n-l = 0, a n -i(x) = a n _i(x) 
和 a n (x) = 1 (P -及 P - a.c.). 因此，不失普遍性可以认为，对于一切 n > 1 , 有 
% > 0,轺 > 0,因为在相反的情形下，和式 

OO 

Di-ewiU 

n=l 


中相应项的“贡献”等于 0 ( 见 （16) 式和 （17) 式) • 

利用高斯性假设，由 （33) 式可见，对于71 > 1 ，有 




exp 



[X n - Cl n __i(X)]2 


\ x n - g n - i (3：)] 2 1 

~~ h ^ J 


其中 dn = |6 fi /6» i |， 而 


(34) 


a 0 = E 《 i，So = E 《 i ， 

~ D < i ， 6 q = D ^ i . 


由 （34)， 有 


1 mE ( q t 1 / 2 | U = 


1 2 d n -i 

2 ln rre ； 


dl 


- 1( 工）一 a n —i(X) 


2 


1+^-1 


bn - 


1 


由于 

则 （30) 式有如下形式 


In 


2d n 


+ 忠 


<0 


p < p <=> 



n 


2 2d n 


d 2 n 


1 +ce 



< oc 


=1. 
(35) 


由于级数 

f ln l^Li 和 gd-V 

n—l n 1 n—l 
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或者同时收敛，或者同时发散，则由 （35) 式可见 



其中 A n ( x ) = a „( x ) - a „( x ). 

因为〜 ㈨ 和 5 n ( x ) 是线性函数，所以随机变量序列 { A n ( x )/6 n } n ^ 0 (既关于测 
度 P , 也关于测度构成高斯系统.由下面将要证明的引理，可见 



从而，由 （36) 式，可见 




0 


e r •△判 

bn / 


2 



2 


1 


< oo 


类似地，可得 



由此可见，如果测度 P 与 P 非奇异，则 P . 因为根据假设&〜 P , n 彡1， 
所以由对称性知/> « R 于是有下面的定理. ~ 〜 

定理5 (哈伊克-费里德曼择一性）设< =(6，&，".）和6石，…）是 
两个高斯随机变量序列，且其有限维分布等价：戶 n 〜 Pn，n > 1. 那么，戶〜尸或 
P 丄 P 二者必居其 一 • 这时 


P 〜尸 of ; 


0 


g/An(X) 


2 


p 丄尸勞^ 


0 




2 




2 


<00 


2 


00 


引理设是定义在 （ a ^， p ) 上的高斯序列.那么， 


(38) 




( 39 ) 
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证明蕴涵关系 （#) 显然.现在假设 E /^ = 0 ，n > 1，并证明蕴涵关系 ㈤ •为 
此，只需证明 

[^exp 

n=l . V n=l / 

因为，由 P { E 砍 < 00 } >0条件可见，（ 4 0)式的右侧小于 oo .即 ■ E 粑 < OC ， 而 
由己证明的蕴涵关系，可见 

p { r E ^ <oo } = 1 - 

固定某一 n > 1，则由第二章§11和§13知，存在独立高斯随机变量 p k , n (k = 
1，...，7^71)，且£/3/^=0,使得 

k=l n=l 

如果记 E 0 2 kjl - A fc . n ， 则易见 

E E^,n = E A ^ (41) 

k^l k=\ 


(40) 


Eexp ( 

k=l 


2 A fc , n )- 1 / 2 


(42) 


k 


比较⑷）和 （ 42 ) 式右侧，得 


r 


E E ^ = E E ^ n ^ 


k 




Eexp 



2 


Eexp (-乞成 


k 


2 


由此，当 n — oc 时经极限过渡，得所要证明得不等式 （40). 

现在假设 EA 幸 0. 

考虑与 (3 = (/? n)nM 独立并且具有同一分布的序列沒= (3 n ) n^l (必要时扩展原 
概率空间).那么，如果 

< ool > 0,贝 U P 




且由已经证明的，有 


2 E 聯 n_ E/?n) 2 = Y1 E ( 久 - 3n) 2 < OO. 
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因为 

oo 

( E 0 n ) 2 ^ 201 + 2(/3 n - EA 0 2 ， 则 [( E /3 n ) 2 < oo . 

n=l 

于是， 。c oc oo 

= = 史 E (/3 n — Ep n ) 2 < oo . □ 

n=l n—\ n=i 

5 .例我们继续讨论 §5 第 3 小节的例.假设《0,6,. •• 是独立高斯随机变量 
序列， E & = 0, D & = V * > 0. 

仍设 

•^n+l = + 《 r*+l， 71 > 0 ， 

其中； J ： 0 =心，而 e(-oo < e < cx >) 是待估计未知参数.设是用最小二乘法得到 
的估计. 

定理6 序列 0 n (n ^ 1) 是强相合估计的，充分和必要条件是： 


E 


V ； 


0 




(43) 


证明充分性.当未知参数的值为0时，以 h 表示上对应于序列 
( X 0 , X 2 ,...) 的概率 分布； 以 Ee 表示对测度的数学期望 • 

我们己经知道， ^ 

M n 


谷 n = ❼+ 


(^)n 


其中 


P 轚 A 

M n = Y[ 


k 


vwT 


， w • 

(M)n = E 


xL 

vWi. 


根据上一小节的引理 


P ^{( M}oo = oo } = !<=> E 0 〈 A/〉oo = oo . 


从而 ( A/)oo = 00 — a . c .)， 当且仅当 

而且 



(44) 


( 45 ) 
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因此由 （43) 式得 （44) 式，而根据定理4,对于每一个仏估计 9 n (n ^ 1) 序列为强相 
合的 • 

必要性 假设对于一切 0, P e (0 n — 0) = 1. 现在证明，假如6 一％ ，则 P & 
和 P 02 是奇异的 （ P 01 丄 P &). 事实上，由于是高斯序列，则根据定 
理5测度 P & 和 P & 要么奇异要么等价.然而测度 P & 和 P & 不可能等价，因 
为，假如〜但是由于(心 — A ) — 1,则 Pe 瓜—〜 ） = 1 . 而由于 
Phd — %) = 1，故应该 h b 而这与假设 h %矛盾. 

于是，对于仏一心， P dl 丄 ！ V 
根据 （38) 式，对于/心，有 


P^, ± Po 2 <^> 


" -¥ 

(仏) 2 乙 


A:=0 



oc . 


设 心 = 0 和 0 2 一 0, 则由 （45) 式得 


P 0 丄 <=> 




于是，这就证明了必要性. □ 

6. 练习题 

1. 证$等式 （6). 

2. 设〜 P „， n 彡 1. 证明 

P ~ P <=» P{Zoc < OC) = P{2：oo > 0} = 1, 

P 丄 P 分 P{^oo = <50 } = 1 或 P{^oo = 0} = 1. 


3 •设乒 n 《 P n ， n 彡1，而 T (关于 （， n )) 是停时，尹 r = P |^ r 和 Pr = P|^r 
是测度 P 和 P 到 (7- 代数多％的 收缩. 证明^《 P T , 当且仅当 {T = 00} = { Zoo < 
oc }( P - ax .). 特别，如果 P{r < oc } = 1，则匕《 P T . 

4. 证明“换算公式 ” （21) 和 （22). 

5. 证明不等式 (28)，(29)， (32). 

6. 证明公式 （34). 

7. 假设在第2小节中，序列《=(6，匕...）和 f =名石，…）由独立同分布随 
机变最构成.证明， 1) 如果 P & 《 P &, 则 P < P , 当且仅当测度 P & = P & 2 )如 
果 P & 《 P Cl 且 P & # Pb 卯 j 乒丄 P . 

§7. 随机游动越出曲线边界的概率的渐近式 

1. 概率 P { T 〉 n } 的渐近式设是独立同分布随机变量序列 ， Sn = 
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Cl + … +《 n ; 0 = 0( n)，n 彡 l ， g ( l ) < 0,是某一“边界”；而 


r = inf{n ^ 1 : 5 n < g ( n )} 


是随机游动 ( S n ) n ^ 首次处于边界 p = P ( n ) 以下的时间.（像通常一样,如果 {•} = 0， 
则认为 r = oo ). 求时间 r 的分布是相当困难的.在这一节，对于广泛的一类边界 
g = g ( n ), 并且&在服从正态分布的条件下，求当 n — oo 时概率 P{r > n } 的渐近 
式.所用方法基于“测度绝对连续替换”的思想，并且利用前面介绍的鞅和马尔可夫 
时间的一系列性质. 

定理1 设是独立同分布的随机变量，&〜尺(0，1).假设边界分= 
g ( n ) 满足条件： ^(1) < 0 ,而对于 n 彡2， 

0 彡 A^(n + 1 ) 彡 A^(n), (1) 


其中 Ag ( n ) = g ( n ) - g{n - 1), 并且 


Inn = 0 ( Y^[Ag(k)] 2 j , 


n —► oc . 


k =2 


那么， 


P{t > n } = exp \ t [△夕⑷ j’ 2 (l + 0(1)) [ ， n 


OO 


k =2 


在进行证明之前，我们首先指出，条件 （1) 和 （2) 成立，例如，若 

g ( n ) = an u + 6, |< z /彡 1， a + 6<0, a > 0, 




或者（对于充分大的 n ) 


g{n) — art^L^n), - < i / < 1, 

其中 L ( n ) 是某一缓慢变化的函数（例如， L ( n ) = C ( lnn )^, 对于1/2 < t / < 1，0是 
任意的，而对于^ = 1/2 ，C > 0 ，/J > 0). 

2. 定理1的证明在证明定理1时用到下面两个辅助命题 • 

假设…是独立同分布的随机变量序列，匕〜斤(0,1).弓 I 进记号：’0 = 
{ 0 , Q}^n = J {《1， …，&}，而设《 = ( Qn ^ n - l ) 是可预测序列，且 P {| a n | ^ C ] = 
l,n > 1，其中 C 是某一 常数. 建立序列2 = { z n ^ n ), 其中 

= exp !亡 a k ^k -\^ 2 a k 

lfc=l k —\ 


n ^ 1 . 


⑷ 


不难验证，序列（关于测度 P ) Z = ( Zn ^ n ) 是铁，且 E 〜 = hn ^ l . 
固定某个 n > 1，并且在可测空间上⑴，少 n) 引进概率测度戶 n: 


P n ( A ) = EI ( A ) z n , AeJ ^ n - 
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引理1 (“士尔萨诺夫 （ M . rnpcaHOB ) 定理”的离散变式）随机变量 
^ k - a ky l ^ k ^ n , 关于測度 P n ， 独立且服从正态分 布心〜 A ^(0,1). 

证明设^^表示对测度乒„的数学期望，则对于 Ait e 1 R ， 1 < A < n ，有 

E n exp Ii ^ Xk^k \ = Eexp \ k ^ k \ z n 




k 


k 


E exp 


E exp 


[E a 石 

l k=l 

I i ^2 

l k=l 


2 n ^iE<exp 


Aa：^/c > z n ^i exp 


: P ❹ - Q ： n ) + — n 

{-|} = ... = exp {- ig ^]. 


于是，由第二章 §12 定理 4 得所需要证明的结论 . 

引理 2 设久 = (X n ^ n ) n ^ 是均值为 0 的平方可积鞅，而 


a = inf{n > 1 : X n ^ ~6}, 


其中常数 6 >0 . 假设 


P{X x ^ -b] > 0. 


那么，存在常数 C>0, 使对于一切 n 彡 1, 


C 


P{a 〉 n} > 

证明根据 §2 定理 1 的系 1, EX aAn - 0 ,由此可见 


一 E/(a 彡 n)X a = E/(cr > n)X y 


在集合 {a < n} 上，有 


- X a > 6 > 0 


⑹ 


⑺ 


因此，对于 n 彡 1 


-E/(a ( n)X a ^ bP{a 彡 n } 彡 bP{a = 1} = bP{X x < -b} > 0. (8) 

另一方面，由于可西 - 布尼亚科夫斯基 （ A. L. Cauchy - A.H.ByHHKOBCKHii) 不等式， 
可见 

E/(cr> n)X n ^ [P{a > n} • EX:]" 2 . (9) 

于是，由 （ 9) 式及 （ 7) 和⑻式，所要证明的不等式⑹，其中 C = [bPiX, < -6}] 2 . 
证明定理 1 只需证明： 

limlnP{r > n}/y^[Ap(fc)) 2 > ( 川 ) 

n k =2 


和 
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UmlnP{r > n}/^[Ay(fe)] 2 < -去 

^ k=2 


(ii) 


为此，考虑（非随机）序列 （ Qn ) r ^ ，其中 


Ql = 0， Ofn = △ 分 ( 穴 )，71 > 2 ， 

而概率测度 (PnU^i 决定于⑼式.那么，根据赫尔德 （ 0. L. Holder) 不等式，有 

Pn{r >n}= E/(r> n)z n ^ (P{r > n})^(EzS) 1/p , (12) 



其中殳 = 根据引理1，随机变量&，•••，&，关于测度会 n 独立 
且服从正“务布及〜 AT (0,1). 将引理2用于6 = - p ( l ), P = A =瓦，得 

Pn{T > n } ^ , (14) 

n 

其中 C 是某一常数. 

那么，由 （ 12) 〜 (14) 式，可见对于任何 P > 1 ， 有 

P{t > n } > C p exp |-| ^( Aff ( fc )] 2 - Inn } ， （15) 

其中 C p 是某一常数 • 鉴于定理的条件和 p > 1 的任意性，由 （15) 式得的下侧估计 
(10). 

为得到 （11) 式的上侧估计，首先注意到由于 ‘ > 0 ( P _ 且 P - ax .), 则由⑸ 
式可见 

P{r > n} = E n I(r > n)z~\ (16) 

其中^ ^ 表示对测度戶 „ 的数学期望. 

对于现在考虑的情形，⑴= 0, ^ = Ag(n) y n > 2,因此对于 n 彡2, 

^n l = exp ( - ^ Ag(k) - ^ + | 史 [△ 咖 )) 2 [ 

I k=2 Z fc-2 J 


. 随机游动越出曲线边界的槪率的渐近式 
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由分部求和公式（见第四章§3引理2的证明)，得 

n - n 

E •〜 = △分⑻ • & 一 5 [ Sh △[△#)】; 


fc =2 


k 二 2 


由此并注意到，根据定理的条件 Ag ( k ) > 0,A[A^(A:)] ^ 0,可见在集合 {r > n} 
{^ a ： ^ g ( k ), 1 彡 A: 彡 n} 上，有 

n n 

△ 沒 ( 左） . 心彡 Wn) • 9(n) - l)A[A^(fc)J - ^Ag(2) 


k=2 


k =3 


X ； [△綱 2 切(物 (2)(2). 


fc =2 


因而，由 （16) 式，有 


P{r > n }^ exp{-l T [ Ag ( k)} 2 - g ( l ) Ag ( 2 ) \ E n I(r > n)e- 。〜⑵ 


k=2 


exp {- g ( l ) Ag ( 2)}exp 


{-•亡师)] 


2 lE n /(r >n)e^ ,Ap(2) 


其中 


E n /(r > n)e-W 2) < E2 n e-^ ,A ^ (2) = Ee~^ A ^ 2) < oo. 


因此， 


P{r > n } ^ Cexpj--^[A^(fc)] 2 |, 


其中 C 是某一正常数，于是证明了 （11) 式的上侧估计. 

3. 双侧界限的情形“测度绝对连续替换”的思想，亦可对于双侧边界的情形 
研究类似的问题.我们（不加证明地）给出这一方向上的结果之一 • 

定理2 设6乂2，...是独立同分布的随机变量序列，&〜 ^(0,1). 假设/ = 
/(n) 是正值函数，满足条件： 


f ( n ) oo , 


OO 


且 


V [ A /(*)] 2 = o (^ 厂 2 W ) ， n - oo 


k—2 


k 


那么，如果 


o = inf{n ^ 1 : \ S n \ > /( n )}， 


P{<7 > n} = exp I ^ 2 厂 2 (免)[1 + ^ 1 )] \ * 


OO 


(17) 
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4. 练习题 

1. 证明由⑷式决定的序列是鞅.问在不要求条件 P {| a n | 彡 c == l ， n 彡 1} 成立 
的情况下，这是否成立？ 

2. 证明公式 (13). 

3. 证明公式 （17). 

§8. 相依随机变量之和的中心极限定理 

1. 函数的中心极限定理在第三章§4中，我们对于随机变量 & n ，... jrm 之和 
S n =6 n + -* • +6 m(n 彡1)，证明了中心极限定理，当时假设： 6 n ， •••，&« 相互独立， 
其 二阶矩有限， 以及 各被加项的极限可忽 略性. 在这一节，我们将不再假设满足独立 
性条件，甚至也不再要求一阶绝对矩有限.不过，仍然假设被加项的极限可忽略性 • 
这样，假设在概率空间⑴, ^， P ) 上给定随机序列 

C = 0 < /e ^ n, n 彡 1 ， 

其中 ^no = = { 0 ^}^ n k C ^ +1 C ^{k + 1 < n ). 设 

M 

# = 。彡 “ i . 

fc =0 

定理 1 设对于固定的 0< f < l ， 满足下列条件：对于任意 ee (0， l ]， 当 n —oo 
时，有 

[ nt ] 

( A ) 0， 

fc=l 

[ nt 】 

(B) y. nun\u\ < Co] 二 o, 

k=l 

M 

(C) ^D[^ nfc /(|^| ^ 

fc=l 

那么， 

X ^^ N { 0 , a 2 t ). 

注 1 条件 （ A ) 和 （ B ) 保障随机变量；^可以表示为 

[ nt ] 

X t n = Y t n + 而冴夂0， Y t n = Y , Vnk , 
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其中序列 T) n = { Vnk ^ k ) 是缺-差= 0其中对0彡 fc 彡 n , n 彡1 一致 
\ rink \ ^ C . 因此（在所考虑的条件下）定理的证明实际上归结为，形成鞅-差序列的 
极限定理的证明. 

对于随机变量 ， Cnn 独立的情形，条件 （ A )，（ B ) 和 （ C ) 当 t = 1 时就是条 

件 （ C 7 2 = CT ?): 


(a) 

^P{|^ nfc |>£}-0, 


fc=i 

(b) 



k=l 

(c) 



fe = 1 


这由格涅坚科 （ B . B . rHe ^ eHKo ) 和柯尔莫戈洛夫的专著 |16 j 是熟知的.因而 
由定理1得如下推论. 

系如果 “，••• Jrm ( n 彡 1) 是独立随机变量，则 

n 

( a ),( b ),( c ) 冷 X ； 1 = E U 土 N (0^ 2 ). 

fc=l 

注 2 在条件 （ C ) 中不排除疗 = 0 的情形.这样，定理1中也包括收敛于退化 
分布的情形土 0). 

注3用定理1的方法可以表述和证明更加一般的命题. 

假设0 < h < t .2 < …< tj 《 1，彡 <7 f 2 彡…，而^1, * * * 是均值为0 

的独立高斯随机变量，且 Eg = 建立高斯随机向量 

(坏 ’“，••• ^tj)^ ^t k = e i + ••• + £>• 

假如条件 （ A )，( B ) 和 （ C ) 当 i Q ，…山时成立， 则随机变量的联 
合分布 巧 ，…， tf 弱收敛于随机变量 （％，••• , W t) ) 的高斯分布 A ，… 々：巧, …， ' 

巧 1 ，…， • 

注4设 ( a t 2 ) 0 ^^i 是连续不减函数，< = 0.以 W 表示 布朗运 

动过程（维纳过程)，且 EW t = 0 ，EHf = a t 2 . 在第二章§13中对于 疗= f 定义了该 
过程.在没有这一条件的情况下，该过程可以类似地定义为，具有独立增 a 的高斯过 
程 W = ( W t ) o^u 且州 ) = 0,而其协方差函数为 r ( S ， t ) = min ( a s 2 , c 7 t 2 ). 在随机过程 
的一般理论中，证明具有连续轨道的这样的过程总是存在的.（当 < =〖时这样的过 
程称 为标准 布朗运动). 

如果以 P 和 P 表示过程 X "和 W 在函数空间 ( D ^( D )) (见第二章§ 2 第 7 
小节）中的概率分布，则可以 断定： 对于一切0 < f < 1成立的条件 （ A )，（ B ) 和 （ C )， 
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不仅可以保证上述有限维分布的弱收敛1 A , ，…， < t 2 < ••- <tj < 
Uj = 1,2,...)， 而且也保证函数的收敛性，即过程的分布弱收敛于过程 W 
的分布尸.（有关细节，参见问，[91]， [87]). 这一结果，一般称做函数的中心极限定理, 
或者（对于 n 彡1，当随机变量 6 n ， … ^ nn 独立时）称做（汤斯凯 [ M . Donsker ] - # 
罗霍罗夫）不变 原理. 

2. —致渐近可忽略性 

定理 2 (1) 条件 （ A ) 等价于一致极限可忽略条件（一致渐近可忽略性） 

( A ，） may H 二 0. 

(2) 在条件 （ A ) 或 （ A *) 下，条件 （ C ) 等价于条件 

( C *) E [^nk - E ^/(|€ nfe | < I ，: 一 i ] 2 〜?• 

fc = l 

(( A *) 和 （ C *) 中与 （ A ) 和 （ C ) 中 f 的值相同 .） 

定理 3 假设对于每一个 n > 1 ， 序列 

是平方可积鞅一差，即 E ^< = 0. 

假如满足林德伯格 （ J . W . Lindeberg ) 条件： 对于任意 O 0, 有 

[ ne ] 

( L ) Y , E KnJ ( l ^| > L 0. 

fc=l 

那么，条件 （ c ) 等价于条件 

(X n ) t ^ al ( 1 ) 

其中 

{^) t = ^E(^ fc |^ i} (2) 

k=l 

是二次特征，而条件 （ cr ) 等价于条件 

[X n ] t al (3) 

其中 

[ nt ] 

m = ⑷ 

fc=l 

是二次特征. 

由定理 1 〜 3, 得下面的 定理. 
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定理4 假设对于平方可积鞅-差 C 彡1和（对给定的0 < f 彡 

1)，满足条件林德伯格 （ L )， 那么， 


[ntj 

k^l 


Int ] 

^<7 2 t ^ X ^ N ^ a 2 t ). 

it=l 


3. 定理 1 的证明 1) 将；^表示为如下 形式: 


记 




M M 

> : €nk 】 (| 《 nfc| < 1) + ( \^nk\ 〉 1) 

k=l k=l 

M M 

E[^ n /:^(|Cn/cl 彡 《 n/c’(|Cnfc| 〉 1) 

k=l k=l 

Intj 

E^nfc/(i^i ^ i )- e \ uh \ u \^ i)i^_i]} 

Ar=l 


Int ) 

B? = ^EK nfc /(|^ nfc | < 1)|^7 

k =\ 

w(r) = I(U e r), 
^( r ) = p (^ nfc € r |^_ 1 ), 


⑼ 

⑹ 


⑺ 


⑻ 


其中 r 是属于集系生成的最小代数方0 = <7(^ 0 ) 的集合，而是 
Mo = K \{0} 中有限个形如 ( a , b \ (不包含点 {0}) 的、不相交区间之和形成的 集系; 
P(U e rpu 是 Q 关于 a - 代数的正则条件分布. 

那么， （7) 式可以写成 



表达式 （9) 称做序列 W ，^,) 的典范分解式.（所有积分应理解为对于每一个基 
本事件由定义，勒贝格一斯蒂尔切斯积分 .） 

根据条件 （ B )， 坷巳 0. 现在证明，由于条件 （ A )， 有 


Int]. 


(10) 
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有 


[ nt ] f 


[nt] 


k 


对于任意 (5 G (0，1)， 


[nt] 


> i )> s 


k 


H m 

S 


J2n\u\>i)>s 


显然， 


M [nt] 

E / d^i>i)=Ey...，(，】) 


k 


k 


{W>1} 


由条件 （A)， 有 


㈣ 


V [ nt ] " tM >^ r k 




并且是，-可测的. 
那么，由 §3 定理4的系，有 


v ^ ii \ ^ 0 =» ^ 0. 

注意，由§3定理4的系，以及不等式 AU ^ nt] < 1,有相反的蕴含关系 


M 




这在证明定理2时将要用到. 


由 （11) 〜 (14) 式的所要证明的 （10) 式. 
这样， 


xr = v t n + zr , 


其中 


lnt\ 


而 


Z ? = B [ 


M ^ 

+ ^/{|x|>l} 


x(i"g 二 0 


2) 由于练习题1，由此可见为证明收敛性丄#(0,心 2 )，只需证明 


(11) 


( 12 ) 


(13) 


(14) 


(15) 


(16) 


(17) 


(18) 


Y t n ^ N ( 0 ^ 2 t ). 


(19) 
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JG Y t n 表示为卜 e (o，i]) 




其中 


M 


[nt 】 


△ 「叫⑷ = 2^ / xd("2 - O, 

k =\ 


— ^ 00 . 


像 （10) 式的证明一样，由于条件 （A ) 容易证明7 [^⑷ ^0 ,n 
序列= ( A -( s )^ n k ), \^ k ^ n 是平方可积鞅，且具有二次特征 


k 


(A n (e)) k - T 


L \^ e } 



2 


x 2 du? - I / xdi/I 

{|* K ^} 


k 




( 20 ) 


( 21 ) 


由于条件 （C), 有 


( A n ( e)) [nt] ^ a 2 t 


从而，对于任意 e e (o, l] 


m 似 { 7 [“] ⑷， l(A n (e»[nt] - W 1 } 二 0 


根据练习题2,存在数列~丨0,使 


7艮 t】(en ) 三0， ( A n (£ n ))[ nt j ^ u\ 


因此，仍然由于练习题1，只需证明， 


土離办 


( 22 ) 


其中 


k 


M 卜 A ^ Sn ) 


{| x | 彡 〜} 


xd (^ - i/D 


假设对于 I ’€ 义0, 


( 23 ) 


碑 (r) = I(AMJ ： e n K(r) = P(AM, n 6 r\^ n k _ x ) 
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是正则条件概率 ， AAq = A 4 n - ^ l , M 0 n = 0. 那么，平方可积鞅= 

( MJ ；^ n k ), 显然可以写成下面的 形式： 

k k f 

Mk = E AM r = E / 爾. 

t=l i=l ^{kl<2£ tl } 

(注意，由于 (23)， 可见 | AMf | ^ 2 e n .) 

3) 根据第三章§3定理1，为证明 （22) 式，需要对于任意实数 A ， 证明 

Ee* AM (-M -> e - ^". (24) 


记 k 

G 卜 E / (户- 1)呵 

j=l ^{\ x \^2 e u } 

和 

k 

^(G-) = H(l + AG]y 

注意到 

1 + AG ^ = 1 + / ( e iXx - l ) dP ? = E ( e iAAM ^ |， U ， 

从而 

k 

^( G n ) = E ( e* AAA/ r 

j=i 

4) 根据第 4 小节已证明的引理4,为验证 （24) 式只需证明，对于任意实数 A ， 有 

M 

I ^ Tnt ]( G n )|= n XX ) >0 (25) 


和 " 

l«^l( GTl )l 二 e_ 罕 . ⑽ 

为此 ，将％ ( G ") 表示为 

k 

^l(G n ) = e G * JJ(1 + AG^e-^K 


(对照第二章 §6 中由 （76) 式定义的函数 
由于 

/ xd ?7 = E ( AM ；|^_ 1 ) = 0, 
J {\ x \^2 e n ] 



可见 


. 相依随机变置之和的中心极限定理 


C 4 



iXx 


{| xK 2£ n } 


— 1 — i \ x ) du ^. 


(27) 


从而， 





A 2 


A 2 




|e ?A " - 1 - iAx 啊 < 备 / : r 2 dW< \{2e n ) 

1 ^{ kK 2 e ?l } 1 


0 (28) 


和 


Ei AG " i ^ 


A 2 



{ kl ^2 €u } 


x 2 6 VJ 


A 2 


( M n ) k . 


根据条件 （ C )， 


( M n )[ nt ) ^ ^ 


首先，设 〈 A/ n > M < a ( P - a . c .)， 则由 (28), (29) 式以及练习题 3 , 显然 


[nt] 

H(l + AGJJ) e 


k 


oo 


(29) 


(30) 


因此，为证明 （26) 式，只需证明 


G [ nt ] 


p 

— ► 


2 


或（由 (27), (29) 和 （30) 各式) 


[ nt ] 




iAx 一 1 - iAx + 


A 2 x 2 


)d 咬夂 0 


(31) 


(32) 


由于 


2 6 


可见 


[ntj 


iAz 


{| x |^2€ n } 


\2 r 2 I \|3 

1 - iAx + di^^^x2e n x 


M ^ 

l^j{\x\^2e n } X 




I 入 I 、 

3 


( M n ) [nt] < - 0, n 


OO. 


这样，假如 ( M n ) [nk] ^ a ( P - a . a )， 则 （31) 式成立，从而 （26) 式得证 
5) 现在证明性质 （25). 因为 


| e ,Ax - 1 - iXx \ < 


㈤ 2 
2 ’ 
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所以，由 （28) 式可见，对于充分大的 n ， 有 


\ K { G n )\ = Tt(i + AG 7) > T 7 


yA ( M ") 


A 2 


⑼ P EM 1 一 -AiAHj 


而（对于充分大的 n 


In 1 




yA ( M «) 

~~ Y 1 

- yA ( A / 


其中 △{ M n 〉 J 彡 (2 e n ) 2 i 0，n — oo, 因此存在 n 0 = n 0 (A), 使对于一切 n > no(A), 有 

|%( G n )| 彡 e - 郎 r 、， 


从而 


I^Tntld 彡 e - A 2 <『〉〜 e_ A 


2 


于是，在 (M n )[nk\ ^ CL (P-a.c.) 的条件下，定理得证， 

6) 为去掉条件 (M n ) {nk] ^ a (P-ax .)， 我们作如下处理，设 

I inf{k ^ [nt] : ( M n ) k ^ o \ + 1}, 若 ( M n )[ nt \ >4 + 1 ， 

r " loo , 若 〈 An [ ntl <( j t 2 + i . 


那么，对于 liT 1 = MJ ^ T ，”有 

<Af n 〉 [ 叫 = A/j nt ] Ar « ^ 1 -f cr^ 2 -f 2e \ 《 1 + of + 2^(= a) 


且根据己证明的（见 （24) 式) 


Ee iA ^ rnt ) 


但是 _ 

lim !E( e tAA ， / (n#j — e ,AM J n/ i)l ^ 2 HmP{T n < oo} = 0 . 
n n 

因此， 

入 2 2 

limEe* AM i:“i = limE(e* AM ^ t ' - e al ^ nt J) + limEe iAM ^ = e-~□ 

n n n 
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注为证明定理1的注2中提出的论断，需要（根据克拉默-沃尔德方法间) 


证明，对于任意实数 Ah...，A> 证明 


Eex P { i A ^( M (nU] 


TnU-iO 



该式的证明与 （24) 式一样，只是用平方可积鞅叉; ：） 代替 （A4 n ，叉；：)，其 


中 




而 


^ _ f Ai, 若 i 彡 [nfi], 

V% \ 八 ，若 [7 it k . i ] < i < [ nt k ],2 ( k ( j . 

4. 辅助命题在这一小节将证明一个简单的引理，它可以将验证 （25) 式和 （2(3) 
式，归结为验证 （24) 式. 

n 

设 7/ n = (7 ] nky ^^) y l 彡 A: < n，n 彡 1 是随机序列，= y^rjnk ， 


■ mr 

^ n (\)=l[E(e iX ^\^ n k ^ AGR, 


Y 是随机变 fl， 其中 


& m (\) = Ee iXV , \€R 


引理如果（对于给定的 A ) | r i ( A )|> c ( A )>0, n ^ l , 则收敛 


的充分条件为收敛 


证明设 


Ee lAy " - 

4 Ee iXY 

(33) 

r\\) 上 

— 罗 (A). 

(34) 

m n (A)= 

e iX Y n 

^{xy 



则 |m n (A)| < c ~ l ( X ) < oo, 且容易验证 

Em n (A) = 

因此，由 （34) 式以及勒贝格控制收敛定理，有 


Ee 


i\Y 


Ee 


iXY 


|E(e iAyw - 彻) K \ E { m n ( X )[^ n (\)-^( X )}}\ 
c ~ l { X ) E \ g > n { X )-& ， ( X )\ — 0 ， n — oo . 


□ 
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注由 （33) 式和假设 |r i (A)| ^ c ( A ) > 0, 可见 ^(\) / 0. 实际上，在不要求满 
足条件 \^\\)\ ^ c ( A ) > 0 的情况下，引理的论点仍然 成立； 具体地可以表述 为：如 
果 (A) 且#0,则收敛性 （33) 式成立（练习题 5). 

5. 定理 2 的证明 1) 设 e > G (0， e )， 并且为简便计设 f = 1. 由于 


:‘ 1 ⑴以編 >e) . 


和 


> : l 《 n / c |’(|《 nAr | 〉幻〉6 


W W 

J2H\^nk\>e)>S 


则 


p {游 ， 1 > “ 七 P {|取-| > 叫 卜 {! I w>c} 


d f l k > 


如果满足条件 （ A )， 即当 n 


{it 


>e} 


> <5 > —► 0 


则(对照 （10) 式) 


(z [ 

U=i ^{ i x i >e > 


d / i ? > s 


o 


从而 （ A) => (A ‘). 


相反，假设条件 ( A *) 成立.对于任意 e > 0,设 

( min |fc ^ n : \^ nk \ > |}，若 
00 ， 右 


Ijia > ICnfcl 彡孑 

1 恐 knfcl < 7y 

l^k^n Z 


由 （ A*) 式 limP {(7 n < oo} = 0. 

我们现 4 指出，对于任意 J e (0, l ), 集合 


nAa 


fc=l ) 


相等，而根据条件 （ A ' 有 


nA ( j n nAa n p 


. 相依随机变量之和的中心极限定理 


因此，由于 （ 15) 式，有 


nA(j 1t ^ nAa f 



{啡5} 




由该式连同性质 limP{^7n < oo } = 0 最后证明蕴涵关系 ( A *) ^ ( A ). 

2 ) 仍然假设丄 1. 固定某个 e € (0,11，对于任意 (5 € (0，外考虑平方可积鞅（见 
(21) 式)， 

△，) = (■)，•，；：)，1 O 彡 n . 

由于条件 （ C )， 对于给定的 e € (0,1|，有 

( A n ( e)) n ^ al 

从而，由于条件 （ A ), 容易导出，对于任意5 € (0,4 有 

{ A n ( S)) n ^ al (35) 


现在证明，由条件 （ C *) 和 （ A )， 或等价地，由条件 （ CT) 和 （ A” 可见，对于任意 


S e (0， e ]， 有 


[ A n W]n - 


(36) 


其中 


I△’ n = 自 [wii “)- 乂 ㈣ _ 


2 


事实上，由于 （ A) 式，容易验证， * 

|A"((5)]n - [A n (l)]n 0. 

n r l 2 n 「 r l 2 

/ xdu]^ - E ^nkl(\^nk\ < 1) 一 / OCd^ 

» m 

彡 ’(l€nA:l 〉 1)+ 2|^nfc| x f xd(/iJJ — 

fc=l 

<5 右取 nfc | > l)^ k ^5maxjl k x g 乂 \ >{} ^ 二 0 . 

因此，由 （ 37) 式和 （ 38) 式得 （ 36) 式. 


(37) 


(38) 


这样，为证明条件 （ C) 与条件 （(：•） 等价，只需证明：在（对于给定的 e € (0,1]) 


条件 （ C) 满足时，同时，若对于任意 a>0, 条件 （ C*) 成立，则 

Jim UmP{|[A n (^)) n - (A n (i))„| > a} = 0. 


(39) 
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记 m ^(6) = [ A n (6 )] k - 〈邪)》灸，1 ^ k ^ n . 序列 m n ( S ) = ( mg ⑷，多 7) 是平方 
可积鞅,这时序列 ( m ，<5)) 2 被序列 [ A n ( S)) n W ( A n ( S )) n 控制（由§3定义) • 

显然， 


[ m n ( S)] n = ^2[ Am n k ( S )} 2 ^ maxJAm ^ rf )! x {[ A n ( S)] n + ( A n ( S )) n ) 

fc=i 、 、 n 

^3 S ，2 {[ A n ( S )] n ^( A n ( S )) n }. (40) 

由于 [△ n 05) l 和 ( A n ( S )) 相互控制，故由 （40) 式可见， ( m n ( S )) 2 受序列 6 S 2 [ A n ( S )\ 
和 6 S 2 ( A n ( S )) 控制. 

因此，如果满足条件 （ C )， 则对于充分小的 (S (例如，5 2 < min ( e , b ( a \ + 1)/6))，有 


timP {6 S 2 ( A n ( S)) n >6} =0, 

n 

从而，由 §3 定理4的系知 （39) 式成立.而假如满足条件 （ C *), 则对于同一 (5,有 


limP{6(5 2 [A n (<5)] n > 6} = 0. 

71 


(41) 


仍然由 §3 定理 4 的系知，由于 |A[A n ((S)] fc | < (2<5) 2 , 故由 （ 41) 式得 （ 39) 式. □ 

6. 定理 3 的证明考虑林德伯格条件 （ L )， 可以通过直接计算验证条件 （ C ) 和 
(1), 以及条件 （ C*) 和 （ 3) 的等价性（练习题 6). 

7 . 定理 4 的证明由林德伯格条件 （ L )， 可见条件 （ A) 成立. 关于条件 （ B )， 只 

需注意到，在 r 构成鞅-差的情形下，典型分解式 （ 9) 中的随机变 S 可以表为 


如下 形式: 




M ^ 


xdu^. 


所以，由林德伯格条件 （ L ), 可见邱二0 


8. 平方可积鞅-差的情形这一节的基本定理——定理1，是在被加项之和 
一 致漸近小的条件下证明的.自然提出的问题是，在没有一致渐近小条件的情况下， 
中心极限定理成立的条件如何？对于独立随机变量的情形，第三章§ 5 的定理1就是 

这样的例子（其条 件是： 二阶矩有限). 

我们现在（不加证明地）给出这一定理的类似，但是局限于序列尸= 

1彡 fc 彡 n ， 是平方可积鞅-差的情形 ( E(^ k < ^ K ^ nk \^ k - i)=oy 

记 F nk ( x ) = : 是心 关于 ，1一' 的正则分布函数.设 △“ = 

定理5如果对于平方可积鞅-差= i ^ nk ^ n k ), 0彡 fe 彡 n ， n 彡1,满足条 
件： 

A nfc — > o-'o 0 < of < oo，0 < t < 1 ， 
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而对于任意£ > 0, 


且 

X - ^ 7 V (0,^ 2 ). 

9. 练习题 

1•设“ + Cn ， n 彡1，其中％ 土 r ;， 而土 0. 证明土 7厂 

2.设 （€(£：))， n > l，e > 0,是随机变量族，且对于每一个 e 〉0,当 n — oo 时, 
有心 L 0. 例如，利用第二章§10练习题11的论断证明，存在序 列&丨 0,使 

$ n ( fn ) 二 0. 

3•设«),1 彡 A : 彡 n，n > 1,是复数值随机变量， ( P - a . c .) 

n 

K | ^ a n 1 0. 

证明 （ P - a . c .) 

n 

lim ]^ J (1 4 - a 2) e _0 ^ = L 

n k=l 

4. 证明定理 1 的注 2 中提出的命题. 

5. 证明引理的注中提出的命题. 

6. 证明定理 3. 

7. 证明定理 5. 

§9. 伊藤公式的离散版本 

1. 引言在布朗运动、以及与之同类的过程（鞅、局部鞅、下鞅…… ） 的随 
机分析中， 伊藤清 (Ito Kiyosi ) 变 量替换 公式有特别的 作用. 在这一节考虑该公式的 
离散型 变式，并且说明如何经极限过渡，可以得到布朗 运动的伊藤清 公式. 

2. 二次协方差的积分表示设 X = ( X n ) 0 ^ N 和= ( Y n ) 0 ^ N 是概率空 
间 （ fi , 叉, P ) 上的两个随机变&序列，且為=% = 0而 

[ x , y ] = ([ x , r ] n ) 0 ^ N , 


其中 


[及 E AX ^ AY ^ 


(1) 
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是序列 义和 y 的二次协方差（见 §1). 
假设给定一绝对连续函数 F == F ( x ): 


F ( x ) = F (0) + / f ( y ) dy y 

Jo 


( 2 ) 


其中/ = /( y ) 是 R 上的博雷尔函数，对于任意 C 〉0,满足条件 



\ f ( y)\dy < oo . 


\ y\^c 


下面提到的变 fi 替换公式，用序列 X = ( X n ) o^N “自然”泛函的语言，给出 


序列 


F(X) = (F(X n )) 0 ^N- 


(3) 


表示的概念. 


考虑序列 X 和/( X ) = (/(^ n ))0 ^N 的二次协方差 [ XJ ( X ) l 其中/ 
( x),x € R , 是 （2) 式中的函数.根据 （1) 式 

[X, f(X)) n = Af(X k )AX k = 亡 [ 肌 )- f(X k ^)](X k - u 

k=l k=l 

如果引进两个“离散积分”（对照§1定义 5) 


⑷ 


—▼ 

I n ( XJ ( X )) = ^/( X ^ 1 ) AX fc , 


(5) 


和 


I n (X y f{X)) - Y. /( 為 )△ 為 ， I 


⑹ 


则二次协方差可以表示为 


[X, f(X)} n = I n (XJ(X))- In(XJ(X)). (7) 

(当 n = 0 时，设 J 0 = 7 0 = 0). 

在我们所考虑的情形下，对于固定的实数#，引进新的（“逆向”）序列又= 
(又 n )0«7 V ， 得 

X n = Xisr-n- ⑻ 

显然， 〜〜 

I N (XJ(X))^-I N (XJ(X)l 

且类似地 ~ 

T n (xj(X)) = ^{i N (xj(X))- / N . n (x,/(X))}, 


因此，由 （ 7) 式可得 
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[XJ(X)] N ^ - {I N (XJ(X))^I N (XJ(X))^ 


且对于1 < n < iV ， 有 


[X y f(X)] n = ^{I N (XJ(X))^ I N . n (XJ(X))}- I n (x ， f(x)) 

=-{ /d】)A 元 + 亡 /(ly 小 

V k=N — n+\ k=l ) 


⑼ 


注有益地注意到，由 （ 7) 式和 （ 9) 式给出的二次协方差 [XJ(X)] n 表达式的 
不同结构 . （ 7) 式中的“积分” 


I rl ( XJ ( X )) = J 2 f ( Xk - i )^ X k , 


是这样形成的：在区间 [ fc - 1，冽（“ 左”端 点的）值 f(h )， 在此整个区间上都乘 
以 、x k = x k - x k .L 然而， “积分” T n (xj(X)) 的组成却不同：是增量△々= 
X k -Xk—i 乘以区间- l ， fc ] 的“右”端点上的值，即值； 

这样，可以说，⑺式既包含“正向积分 I n (xj(x)y\ 又包含“反向积分 In(x, 
f(X))\ 然而，在⑼式中（对于序列 x 和又）所有“积分”都是“正向的”. 

3.伊藤公式的离散版本由于对于每一个函数 g = g (： r )， 有 


g(^k-i) + ~ 殳 ( 心 _ 1 )] - + g(Xk-\)] = 0, 


则显然 


F(X n ) = F(X 0 ) + + - [X,g(X)] n 

k —1 

+ [尸™ - m ) 卜 以為 二 i ) + 叫) Ax k 


( 10 ) 


特别，如果 w ： r) = /(x) ，其中 / = /Oc) 是 （2) 式中的函数，则 


F(X n ) = F(X 0 ) -f / n (X, /(X)) + -[X, f(X)] n + Kn(X, f(X ))， 


其中 


R n (XJ(X)) 


f Xk [/ ⑻一 也 

x fc _, 2 


( 11 ) 


( 12 ) 
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由数学分析中熟知的性质，如果函数 厂 ( Z ) 连续，则有“梯形公 式”： 

[ [/(X) - , j\ x - a){x ^ b) tmi dx 


(6- a ) 



(6- a ) 


x(x - 4- (6 - a ) x])dx 


/ ;/ (^[a + (6 - a ) x ]) J x(x - l)dx 


(6- a ) 


/" ⑼， 


其中和 r / 是区间 [ a , 6] “中间”的点. 
因此，由 （12) 式，有 


R n (XJ(X))^= 


k 


其中 Xfc-l < 7 ?fc ^ X k . 由上面的表达式，易见 


\Rn(XJ(X))\ ^-su P r( V ) x^|AX fc | 3 


(13) 


其中 sup 对于满足 min ( Xo , X ,,...， X„K max ( X 0 , X l? • • • , X n ) 的一切 r ? 值来 
求： 

我们把 （11) 式称做伊 藤公式的离散版本. 需要强调，该公式的右侧由如下三部 
分构成：“离散积分” I n (X y f(X)) y 二次协方差 [ X ，/ P 0] n ， 和“余”项 Rn(XJ(X)). 
“余”项的名称在于说明，当由相应的极限过程向连续情形过渡时， i ? n ( X ，/(；0) 的极 
限为0 (详见第5小节). 

4 •例 


例1如果 /( rc ) = a + frx ， 则 R n (XJ(X)) = 0, 这时 （11) 式有如下形式: 

F(X n ) = F(X 0 ) + I n (XJ(X))^- ^[XJ(X)] n . 


(14) 


(对照下面的 （19) 式). 
例2 设 


f ( x ) = sign x 


1， x > 0 1 
0, x = 0, 
一1， x < 0, 


而 F ( x ) = | x |. 

假设 a =办，其中& =心+ • • • + a ，&彡 i , 而6,6, • 
量序列，且每一个 ^ k (k > 1) 都以概率1/2分别取土 1为值, 
如果设 So = 0,则直接由 （ U ) 式可以求得 


• 是独立伯努利随机变 


m m 

|5 n | = ^(sign5 fc ^i)A5fc -f N ni 


(15) 
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其中 N n = #{0< fc < n ,5 fc = 0} 是序列 S 0 , &，…中 “0” 的个数. 
包含在 （14) 式中的“离散积分” 


f^(sign5 fe _ 1 )A5fc j 

\k=l / n ^l 


是鞅.因此，由 （15) 式可见 

E|5 n |=E7V n . (16) 

因为（练习题 2) 

[ 2 n 

E l $ n | 〜^7， n — ° 0 ， （ 17 ) 

所以由 （16) 式可见 

f 2 n 

EN n - J — y n —oo. (18) 

换句话说，在随机游动&，…，&中“平局”的平均次数按童级 A 增长，而 
不是像最初感觉的那样好像“按量级〃增长”.需要指出，性质 （18) 十分直接 地与反 
正 弦定律 （见第一章 §10) 相 联系，并且实际上可以由反正弦定律 得到. 

5. 布朗运动的伊藤变量替换公式设 B = ( B t ) 0 ^ i 是标准（说= 0, EB t = 
0, EB f 2 = t ) 布朗运动（见第二章 §13)，而 A = = , n . 

运用 （11) 式，可得如下结果 

n 

F(B 1 ) = F(B 0 ) + ^/(B (fc _ 1)/2 )AB fc/rl 

fc=l 

+ i[/(R /n )^. /n ] n + R n (B. /n J(B. /n )). (19) 

由布朗运动的理论(例如，可参见[11]，[I 7 】， [77j)， 知 

n 

\Bk/n — S(fc-l)/n| 3 L 0， n > o. (20) 

k=i 

从而，如果函数 / = f ( x ) 有二阶导数，且对于某个常数 C > 0，/〃(xK C，:r € R, 则 
由估计 （13) 式，可见 R n (D. /n J(D. /n ))^0. 

仍然由布朗运动的理论知，对于任意博雷尔函数/ = /(x) € (即对于任意 
常数 (7 > 0,满足 

I f 2 ( x)dx < oo 
J\x\^C 

的函数)，“离散积分” 

n 

^2 f { B { k ^ i )/ n ) AB k/n 
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(在依概率收敛的意义上显然）存在极限，记作 f 0 l f ( B s ) dD SJ 并且称做 布朗运动的伊 
藤清随机 积分. 

这样，由 （19) 式可见，该式中的“余”项 Rn ( B . / n J ( B . / n ))^0, “离散积分” 

n 

k=l 

(依概率）收敛于“随机积分” J ^ f ( B s ) dB 9 , 从而二次协方差 

[汉 / n ， /(丑 ./ n)l (= [/( 召 / n )， 丑 ./ nl ) 

依概率收敛的极限，自然应当记为 

[坟澗 “• 

这样，如果函数/ = /(X) 由二阶 导數， 且对于某个常数 c > O y \ r ( x )\^ C ^ x € 
R , 且 / eL ^， 则有如下公式： 

F(BO = F (0) + ^ f ( B 3 ) dB s + ， (21) 

这时， i 

[ BJ ( B )) X ^ f f(B s )ds- 

Jo 

于是， , x 

F ( B X ) = F (0) + f ( B s ) dB s + i ^ f , { B s ) ds , 

或者更标准的形式为： 

F ( B X ) = F ⑼ + £ F ，( B 5 ) d 氏 + F "( B s )ds 

正是这一公式（对于 F e C 2 ) 称 做布朗运动的伊藤变量替换 公式. 

6 . 练习题 

1. 证明公式 (15). 

2. 证明渐近式 (17). 

3. 证明公式 (22). 

4. 试证明对于任意函数 F € C 2 (24) 式成立 • 

§10. 保险中破产概率的计算.鞅方法 

1 . 破产概率 这一节将要介绍的内容可以很好地演示， 鞅方 法如何 （例 如为保 
险公司）提供破产概率的简单估计. 


( 22 ) 

(23) 

(24) 
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设久= (.^)^0 是描绘所考察保险公司资本演变的随机过程.以 Xo 二 U > 0的 
值表示公司的初始资本.假设保费收入由公司以固定的速度 c 〉0 (即经时间△£，收 
入为 cAt ) 连续地积累.假设偿付保费的诉求出现在随机的时间 ThJb ，…(0<7\ < 
T 2 < …），而赔偿的相应金额表现为非负随机变量&，&，••• 

由以上的说明可见，在时间 t > 0保险公司的资本为 

X t = u + ct - S t ， (1) 

其中 

s t = J 2^ J ( Ti^ty (2) 

设 

T = inf{t 彡 0 : X〆 0} 

是保险公司的资本首次变为 0 或负值的时间. 

如果对于一切 f 彡 o , x t >0,则设 r 等于 +0 G . 由完全明显的理由，自然把时 
间 r 称为公司的“破产时间”.我们在下面的主要兴趣是，求（或者估计） 破产的概 
率 P { T < oc }, 或对于任意 f > 0, 在时刻 t 前破产的概率 P { T ^ t }. 

2. 克拉默-伦德伯格模型求这些破产概率是相当不容易的问题.不过，对于 
克拉默- 伦 德伯格 （ H . Cramer - G . A . Lundeberg ) 樸型， 该问题有（部分）解.而所 
谓克拉默-伦德伯格模型的特点是，它满足如下条件. 

A . 假设时间 q - l ( T o = 0), 是独立随机变量，并且服从指数分 

布: P { a , > 0 = \ e ~ Xt J . 彡 0 ，i 彡 1. (见第二章 §3表 3). 

B . 随机变量&，&,•••是独立同分布，其分布函数巧4 =戸{6彡: r } 满足条件: 

F(0) = 0, f 

rOO 

// = / xdF ( x ) < oo . 

Jo 

c. 序列（: n ，: r 2 ，…）和（心，心，…）是独立序列（按第二章 §5 定义 6 的含义). 
设 

N t = J 2 l ( T % ^ t ), t >0 y (3) 

是描绘 t 时前（包括时刻（)，偿付保费诉求数量的过程，且= 0. 

因为对于 fc > 1， 


{Tk > f} = {(71 -f • • • H- > ^} = {^t < 


所以注意到条件 A , 且根据第二章 §8 练习题6,有 


P{N t </r} =P{(n +• 


fc — 1 

• • + (Jit > f} = 

t=0 


(A0 i 

i ! 
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从而 


P{7V,-fc} = e- At ^^ fc = 0 ， l ， 


⑷ 


这样，随机变量 M 有泊松分布（参见第二章§3表2)，参数为 Ae ， 恰好等于数学 
期望 EN t . 

按 （3) 式构造的过程 iV = ( N t ) t ^ 特别更新过程的情况（第二章§9第 4 小节)， 
称做泊松过程.该过程的轨道是间断的（确切地说，是阶梯函数，右连续且跃度皆等 
于 1). 与轨道是连续函数的布朗运动（第二章 §13) —样，泊松过程在随机过程论中 
重要作用.具体地说，利用这两个过程，可以建立具有相当复杂概率结构的随机过 
程 .( 独立增童过程就是这种情形的典型例子：例如.见[13]， [11], [76]). 

3.克拉默-伦德伯格模型下的破产概率由条件 C 可见， 


E { X t - X 0 ) = ct - ES t 




t 


=ct - [E&E / ⑺ Oct - /xZP{7 ； < f} 

t i 

: ct 一 /x P{ATj ^ i } = ct — / xEiV t = t(c — A / x ). 

馨 

1 

由此清楚地看到，公司经营贏利（即 E ( X t - X 0 ) > 0) 的条件，表现为 


c > 


(5) 


在下面的分析中，起重要作用的下面的函数 


h ( z ) 二 { e zx - l ) dF ( x ), z^O 

Jo 


⑹ 


其中 h ( z ) - n - z ) -1, m 


F ( s )^ / e 

Jo 


sx 


dF ( x ) 


是拉普拉斯-斯蒂尔切斯 （ p . s . Laplace - T . J . Stieitjes ) 变换 （ s 是复 数). 


设 


9{z )= : 入 /l(2) — C2：， 《0 


则对于任何使 / i ( r ) < oo 的 r > 0,有 


Ee 


r(Xt-Xa) 


Eer riXi ^ = e 


rct Ee r * S >^ 


ret 




»=0 


P {^ = n } 


n=0 


ret 


£[1 + h ( r )) 


n =0 


n e^ At (At) n __ e _ rc t e At/t(r) _ e t[Ah(r)-cr) _ Q tg(r) 

n ! 
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对于 S ^类似地可以得到 

Ee -r(X,-X,) = e {t-8)g{r) ⑺ 

设 ， 0 Y = a ( X s , S ^ t ). 由于过程 X = ( X t ) t ^ 0 是独立增景过程（练习题 2 )，则 
(P - a . c .) 

E(e_ r d) = r(Xd) = e (t—5)g(r)^ 

从而 

E ( e - rX / 吻 (r) |f f ) = -巧 ㈦ ， (8) 

设 

A = e ‘ rA '-叫 ㈦ ，00， ⑼ 

由 （8) 式可见，显然 

E(Z t l^) = Z S} s^t ( 10 ) 

与§1定义1类似，自然称过程 Z = ( Z t ) t ^o (关于 卜代数 “流 ” （，f )^0) 是 
秩.注意，对于所考虑的情形， E | Z t | < oo ,^0 (对照§1的性质 1). 与§1定义3类 
似，值域为 [0，+ ool 的随机变童 t = t { uj ) 是马尔可夫时间，或（关于 a - 代数“流” 

不依赖于将来的随机变量，假如对于每一个 t 彡0,有 

{t(uj) < ： t} € . 

对于现在考虑的连续时间的情形,§2的定理1 (在明显地改变记号的情形下）仍 
然成立.特别，对于马尔可夫时间 T ， 有 

EZ tAr = EZ 0 . (11) 

设 T = r . 那么，由⑼式和 （11) 式，可见对于任意 t > 0,有 


= Ec _rX,AT_(tAT)9(r) ^ E[e- rXtAT_(tAT)9<r) |T < t}P{T ^ t} 

= E [ e -rXr-r 5 (r)| T ^ t jp| T ^ t } > E[e" Tff(r) |T < t]P{T ^ t} 

彡 min e-^ (r) P{T^t}. 

O ^ s^t 


从而 




e_ rti 

min e - 邛⑺ 
O ^ s^t 


e^ ru max e 89(r > 


( 12 ) 


我们现在更进一步考虑函数 


g ( r ) — Xh ( r ) — cr . 
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显然 ，夕 (0) = 0, （由于 （5) 式) ^(0) = A " - C < 0, 且 g u { r ) = Xh , f ( r ) ^ 0. 因此存在唯 
一正值 r = /?，使 g ( R ) = 0. 


注意，对于 r > 0, 



[1 - F ( x)}d 




e rx (\ F { y ) c\x 


r(p 


dx ) dF ( i /) 



( e rv - l ) dF ( y ) = 一 MO. 


由此且由等式 Xh ( R ) -cR = 0 可见， 7? 的值是方程 


c Jo 


[1 一 F ( x))d 


(13) 


(且在这种情况下是唯一）的根. 


现在，如果在 （12) 式中设 r = R , 则对于每一个 f > 0,有 




Ru 


( 14 ) 


从而 

P{T < oo }^ e ^ Ru , (15) 

于是，证明了下面的定理. 

定理假设对于克拉默-伦德伯格模型，满足如下条件 A ， B,C 和 A/x < c . 

那么，破产概率 p { r 彡纟}和 p { r < oo } 满足不等式 （ 1 4 ) 和（15)，其中只是方 
程 （13) 的（唯一）正根. 

4. 连续时间的情形在上面进行的证明中用到 （11) 式，如曾经指出的那样，对 
于连续情形， （11) 式的正确性，可以由§2定理1相应的类似得到 （§2 定理1，是关于 
在把时间换为随机马尔可夫时间时鞅性的不变性 ).( 这一结果的证明，例如，参见专 
著 [41] 的 §3.2). 不过，假如将（条件 A 中的）变量= I ， 2 ,…，“服从指数分布”， 
换成“服从（离散型）几何分布： P{(Ti = fc }= q k ^ p,k ^ V \ 那么只需引用§2中证 
明的定理 1. 

以上引进的要求借鉴连续时间随机过程理论的结果，是有益的至少在于，在应 
用中出现的模型，并不是在离散时间而是在连续时间起作用的模型 • 

5. 练习题 

1. 证明过程 TV = ( N t ) t ^o (在条件 A 下）是独立增量过程. 

2. 证明过程 X = ( X t ) t >0 也是独立增量过程. 

3. 考虑克拉默-伦德伯格模型，并且假设变量 〜， i = 1，2, • •. ，独立，并且“服从 
几何分布： P{^i = fe } = q k ~ l p , k > Y \ 试表述本节的 定理. 
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1. 引言上一节介绍了鞅论用于证明保险理论的基本定理之一—— 伦德伯 
格‘克拉默定理. 这一节再考虑鞅论的一种应用 一 鞅论用于在不确定条件下运 
行的“无仲裁金融市场”问题.下面引进的定理1和定理2,在随机金融数学中习惯 
上称为制裁理论的“ 基本定理”. 这两个定理的重要性在于，其 用鞅的术语给 出了保 
障所考察的金融市场无仲裁性的条件（其含义将在下面说明)，以及保障达到确定的 
金融 H 标的条件.（关于金融数学，详见 [100]). 


2. 金融数学的某些概念这里，将要给出几个必要的定义. 

对于讨论的所有问题，都假设给定 某个固定的概率空间 （a (叉 P ), 它 
在价格、金融指数以及金融市场的其他指标的演变中，是描绘随 机不确定性的 基础. 
这里，我 们把义 n 中的全体事件视为在时间 n (包括 n ) 得到的“信息”.例如 ，多 „ 
可能包含关于一定金融证卷的价格、金融指数等数值的“信息”. 


与“基本定理”有关的，基本对象是 ( B y S )^ 市场的概念，其定义如下. 

设 B = ( B n ) n ^ 0 和 S = (5 n ) n ^ 0 是正值随机变童序列,其中假设对于每个 n 彡0, 
随机变量队是多 nd - 可测的（叉-!=义0)，而变最&是 义 n - 可测的.为简便 
计，在下面的讨论中,假设 a -代数，0是平凡的，即，0 = (0, ⑺（见第二章 §2) .这 
样，队和&都是常数.于是，按§1的术语,两个序列 B = ( B n ) n >0 和6’ = (5 n ) n ^ 0 
都是随机子序列， 并且序列 B = ( B n ) n ^ 0 同时又是可 预测的 （因为队是 多 n - l - 


可测的). 

按其金融意义，序列 B = ( B n ) n ^ o 是描绘银 行账户 （“bank account”，“mency 
account ”) “单位”演变的序列.这时，随机变量凡是叉 n _ i -可测性表示，在时间 n 
(例如，今天）银行账户的值，在时间 n - 1 (例如，昨天）已经是完全已知的. 


如果对于 n > 1，记 


r n 


其中 △队 = £? n - D n . u 则显然 a 


可以表示为 


⑴ 


队= (1 + r n ) D n ^ i , n 彡 1， （2) 

其中随机变量。是 ^ n _! -可测的，并且^ > -1 (因为根据条件> 0). 在金融 
学文献中，量称做 （银 行） 利率. 

序列 S = (5 n ) n ^ 0 与序列 B = { B n ) n > o 的差别在于，^是 h - 可测的，而 
凡是 可测的.实际情况正是这样，例如， 股票 (“ stock ”, “ stocks ”） 价 格:对 
于股票在时间 n 的真实价格，只有在其 报价时 （即“今天”，像银行账户那样而不是 

“昨天 ”)• 

类似于（银行）利率，对于股票 S = ( S n ) n ^ 可以引进所谓“ 市场”利率： 


— A5 n 

Pn — 

^n-1 


n ^ L 


⑶ 
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由此明显可见，对于一切 p „ 〉 -1, 有 

& = (1 + Pn ) S n - l , ⑷ 



习惯上把这些变量称为“ 对数利 润”，“归 还”，“偿还 ”• 

上面用描述方法引进的两过程丑= ( B n ) n >0 和 S = ( S n ) n ^ 按定义构成 
( B ,5) - 金融市场， 由银行账户 B 和股票 S 两种资产 组成. 

注显然，因为现实金融市场通常包含大量不同性质的资产（例如，见[100])，这 
样的（圪⑺-市场仅仅是现实金融市场最简单的模型.然而，就是在这种简单的情 
形下，在研究许多纯金融-经济来源的问题时，己经可以仔细研究并且作为例子说 
明，鞅论方法的有效性.（例如，关于在 (5,5) -市场上无仲裁可能性的问题，就属于 
这种情形.而关于这一问题，将在下面引进的“第一基本定理”中给出答案). 

3. 有价证卷总存和自筹资金总存现在给出有价 证券的总存量 及其资本的定 

义，以及引进自 筹资金总存量 的重要概念. 

设 ( a ^,(^ n ) n ^0, P ) 是所考察的过滤概率空间， 其中资 0 = (0，⑺；而 7 T = 

(/3,7)是可预测序列偶：/? = O 3 n ) n >0 和7 = (7 n ) n > a - 

除变量 A 和 7 «，n > 0的可预测性，即 A 和％为 ^1- 可测的条件之外， 
其中=，0)，对于 /3 n 和 7 n(n ^ 0) 的可能值不再加任何 限制. 特别，这些变 
量可以取分数和负数为值. 

随机变 章凡和 7 n 的含义相应为，在时间 n 银行账户的“个数”和股票的“张 

数”. 
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我们称在所考察的市场上 ， tt = (/?, 7 )是有价证券的总存量. 
与每一总存量 7 T =(久7),有与其相应的资本 X " = (X^O 相联系，其中 


= PnB n 4- (10) 

把 (3 n B n 解释为银行账户上的货币资金，而 认 是时间 n 股票的价值.序列/?和7 
的可预测性也是清楚 的:“ 明天”有价证卷的总存量，应该在“今天”编制. 

特别，下一个重要的概念——“自筹资金”总量的概念，反映分析这样 ( B ,5) - 
市场：在这样的市场上“无论资金流出，还是自外部流入”都不存在.从形式的观点 
看，相应的定义是由下面的方式给出的. 

由‘‘离散微分公式” △(〜&) = a n A 6 n ^ 6 n - iAa n , 可见资金的增量 AX " 
(= 入卜 m 可以表示为 

= lP n AB n + 7 nA 5 n ] - I - [Bn.^Pn-h 5 n - lA 7 n ]. (11) 

资金的实际的变化只与银行账户和股票价格值的“市场”变化有关，即与量 
/i n AB n + 7 nA 5 n 的变化有关 .（11) 式右侧的第二项，即 Bn-iAPn + &-义7” 是 

可测变暈，并且在时间 n 变量 X^_ x 任何增加或减少都不可能.于是它应该 

等于 0. 

原则上，资本的可能发生变化，不仅因为利率（〜和 Pn ，n > 1) 的“市场”变化, 
例如还可能因为资本从外部流入，由于业务费用的支出，等等. 

以后，这些可能性都不考虑，假设全部考察的总存= 0?, 7 )满足条件：对于一 
切 n > 1， 

AX^ = 0 n AB n + 7 nA 5 n . (12) 

在随机金融数学中，通常把这样的总存称为 自筹的 （ self - financing ). ^ 

4. 随机金融数学的第一基本定理由 （12) 式可见，对于自筹总存量 7 T =(久7), 

n 

XI = XS + + %△ 々)， （ 13 ) 


且由于 

则 



(14) 

(15) 


固定某个 N 彡 I ， 并考察 (B ， S) - 市场在时间 72 = 0,1,-.. ,N 的变化. 

定义1 称在时间/ V 的自筹资金总存量（或自筹资金策略 ）7 T = 实施仲 
裁， 或实施 仲裁的可能性 ，如果> 0 (P - a . c .), 且以大于0的 P - 概率， 

有邱 > 0 , 即 PTO > 0 } > o . 
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定义2 称（在时间 iV ) 在 （ B ， S )- 市场 上无仲裁或无仲裁可能性，如 果对于 
XS = 0和 P { X- N ^0} = 1的任何总存量 7 T =：(况 7), 实际上 P { X^ N =0} = 1,即仅 
以等于0的 P - 概率可能使> 0. 

直观上， 在无仲裁市 场上不可能出现如下 情况： 对于某一总存量存在得 到无风 
险收入的可能性. 

显然，关于某一 ( B ， S )- 市场是否无仲裁，因而在一定意义上是“正确的”、“合 
理的”解的问题，与序列 B = ( B n ) n ^ 0 和 S = (5 n ) n ^ 0 的概率-统计性质有关，从 
而与包含在过滤概率空间上结构中的假设条件有关. 

值得注意的是，鞅论可以相当有效地描绘保障无仲裁可能性的条件.可以得到 
的甚至更多.具体地说，有下面的定理. 

定理 1 (“第一基本定理”） 假设过滤概率空间 （ ft ，，， (叉 n )WN,P) 描绘随机 
不确定性，其中^^0 = (0,12),^^ =^. 

为使定义在 ⑴ ，义 ，(， n ) n </ V , P ) 上的 ( B ， S )- 市场是仲裁的，必要且充分条 
件是，在 义） 上存在与测度 P 等价的这样一个测度 乒中〜 P )， 使贴 现序列 


S 

B 



关于测度吞构成鞅: 


忌 k 


<oo ， n ^ N, 


且 



n 彡 7 V ， 


其中 E 表示关于測度 P 的数学 期望. 

注1 对于向量过程夕= , S d ) y d . < oc , 定理的结论仍然成立（见 [100] 
中第 V 章 §2 b ). 

注2 根据完全明显的原因，定理中的测度於通常称做鞅 測度. 


我们以 


M(P) = 




P: 甚是？ 

LJ 


鞅} 


表示测度於的 全体： 测度尹与测度 P 等价且序列 


S 

B 



n^N 


关于测度 f 是鞅. 

以记号 NA 表示 无仲裁 （No Arbitrage ). 
那么，定理1的结论可以表 示为： 


NA<^M(P) ^ 0 - 


(16) 
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证明 充分性 设乒是 M ( P ) 中的鞅测度 ， 7 T = (/?，7)是总存量，且 
/3 oBo + 70= 0.由 （15) 式可见，对于1彡 n 彡 iV ，有 


m ). 


(17) 


序列 


(I) 


n^N 


关于测度分 是鞅. 因此，序列 G = ( GS ) 0 ⑽ w ( G 5 = 0)，和 


# m 


B k 


)， 


1 彡 n 彡 W ， 


是鞅变换.因此序列 ( X :/ I 3 n ) 0 « N 也是鞅变换 • 

在仲裁测试或无仲裁的情况下，不仅需要考虑= 0的总存量 7 T 的情形，而 
且需要考虑义 0 "彡0 ( P - a . c .) 的总存量 7 T 的 情形. 由于吞〜 P , 且丑 N >0( P - 和 
P - a . c .)， 可得 




那么，将§1的定理3用于鞅变换 （#/ 凡可见,该序列实际上关于测度 


P 是鞅.从而 




皆 0, 


而由于 


{.0 




故 P 




1 


由此可见 ，X 


0 (P - 和 P a . c .). 从而对于任意自筹总存量 7 T , 其中 


^0 (P - a . c .), 实际上 XJj =0 ( P - a . c .). 于是，根据定义 2 无仲裁可能性. 
必要性 我们之准备仅对于一阶段模型 ( B ,5) -市场进行证明，即只证明 iV = 1 
的情形.即便通过这个简单的例子，就已经清楚地看出证明的好思路：利用无仲裁, 
明显地建 立无论是什么样的鞅测度.我们将基于（下面将引进的） 埃舍 ( Esher ) 变换， 
建立这样的测度.(关于的一般情形 （iV > 1) 的证明， [100 j 中第 V 章 §2 b ). 

不失普遍性可认为 B ^ = B X = 1. 这里， 由无仲裁可能性的假 设可见（练习题 1) 


P { A 5 i > 0} > 0和 P { A 5 i < 0} > 0. 


(18) 


(我们排除了平凡的情形 P { A 5 i =0} = 1). 

由此需要证明，存在满足如下条件的等价鞅测度於即卢〜 P ， 且 E | A 5!| < 

oo,E|A5!| =0. 

这由下面的引理即可得到.不过该引理尚有一般概率的应用. 
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引理 1 设 （ a ^) = ( R ， 雳 ( R ))， 而X = X(uj) 是由坐标给定的随机变量 
( x ( u ；) = p 是 （ a 叉） 上的概率测度： 

P{X >0} >0,和 P{X <0} >0. (19) 

那么，在上存在概率测 度吞〜 P , 使对于任意实数 a ， 有 

Ee aX < oo . (20) 

特别，< 00 ,并且 

EX =0. (21) 

证明引进测度 Q = Q(d:r), 而 Q ( dx ) = ce- x "P(dx), 其中 c = (Ee_ x2 )- 1 规 
范化常数. 

对于任意实数 a , 设 

< p { a )^ E Q e aX . (22) 

其中 Eq 表示对于测度 Q 的数学期望. 

设 aX 

Za (x) = ^j- ( 23) 

由于 Z Q (x) > 0,且 E Q Z a (X) = 1,则对于任意实数 a ， 测度 P a : 

P Q (dx) = Z a (x)Q a (dx) (24) 


是概率测度.显然尹 a 〜 Q 〜 P . 

注3变换 xe aA 7<^( a ) 常称做埃舍变换.在下面将要看到，对于 a 的某个 
特殊值〜，测度分=乒。.具有（鞅）性质 (21). 正是这个测度通常称为埃舍测度（或 
埃舍鞅测度). 

由于 ^( a ) > 0,可见对于一切实数 a 定义的函数 f = W ( a ) 是严格凹（即向下 
凸）的 • 

设 仏 = inf{(^(a) : a € R}. 有两种可能的情形 ： 1) 存在 a *， 使 (p(ci*) = 2) 这 

样的有限 a ， 不存在. 

对于第一种情形， 0. 因此 



且可以取测度 P «. 做所要求的测度 f 

到现在为止，我们还没有用到条件“无仲裁性” （19). 不难看到（练习题 2 )，“无 
仲裁性”条件排除可能性 2). 这样只剩下可能性1)，而这种情形己经讨论过. 

于是，当 N =： 1时（存在鞅测度的)“必要性”得证.关于的一般情形 iV > 1，我 
们已经给读者指出，可以借鉴 [100] 中第 V 章 § M 的内容. 口 
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5.例下面举一些无仲裁 （ B ， S ) -市场的例. 

例1假设 ( D y S )- 市场由 （5) 式和 （ 6 ) 式描绘，其中 1 < A 彡 iV ， 且对于一切 
1彡 彡 iV ， r fc = r (常 数)； 而/ >=(外,/? 2 , … , Pn ), 是独立同分布、只有 cz 和 b(a < b) 
两个可能值的（伯努利）随机变量序列： P{pi = a} = q,P{p\ = b} = p,p-h <7 = 1,0 < 
p < 1 .设，这时 


、 —1 < a < r < 6. (25) 

这样描绘的 ( B ,5) -市场称做 CRR - 模型，其中是模型的作者姓氏的字头：考 
克斯 （ J . C . Cox ), 罗斯 （ R . A . Ross ), 鲁宾斯坦 （ M . Rubinstein ), (详见 [100]). 

由于在该模型中 

Sn _ ( 1 + Pn 、 ^n-1 

B n \ 1 + ^ / B n ^ \' 

则显然鞅测度戶应当满足 

E^!L = 1， 

1 + r 

即应当满足 Ep n = r . 

如果记戸= P { p n = b},q — P {/9„ = a }, 则对于任意 n > 1，有 

p + 歹 = 1， bp aq = r . 


由此，得 



(26) 


在上面的情形下，全部“随机性”决定于伯努利序列(内，内， •••， P / v ). 假设 
Q = { a , b } N y 即基本事件空间由序列（^，… ， x N ) 构成，其中 a = a 或 6. (关于空 
间 U 构造的这一特别的，（确切一点说）“坐标的”构造的假设，并不失研究的普 遍性; 
关于这一点，亦见第6小节定理2中充分性证明的末尾). 

作为练习（练习题3)，需要证明，由 


P ( x u . •. ， xjv ) = ^ bix ^ ，_矿 -_'，……)， (27) 


定义的测度 P ( x lr -, x N ) 是鞅測度，并且是唯一的，其中 


N 

外(工 1 ，… Jn ) = ⑹ 


是等于6 的:的个数. 

由 （27) 式明显可见 P { p n = «} = Q.'PiPn = b } = p . 

这样，由定理 1 可见， CRR - 模型是无仲裁 ( B , sy 市场的例, 
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例2 假设 （ B , S )- 市场有如下构造:对于一切 n = 0,1，…，; V ，有= 1，而 


n 


S n = S 0 exp{Y,Pk\, I ^n^N. 


(28) 


k = 1 


设》 =/ifc + 汀沿为 ^ n -\ 可测，其中〉 0, 而 (£ i ,-**£： jv ) 是独立平 
稳高斯随机变量序列，^〜 ^ v ( o , i ). 

我们现在利用 埃舍条件变换 ，在 （ a ^ N ) 上建立所要求的鞅测度多.具体地说， 
设 P ( do ;) - Z iV (^) P ( do ;), 其中 


Pk 


= n :咖)，而 = Eie ^ l ^ k-iY 


(29) 




现在，应当这样选择 ^ n - i - 可测随机变量叫 = a k ( uj ) ,使得序列 ( S n ) 0 ^ N 关于 
测度 f 是鞅，其中叉 o = (0， Q ). 

由于表现 （28), 关于测度 f 的鞅性等价于：对于一切1 < n < 7 V , (关于原测度 
P ) 有 


E [ e (〜十 ”叫， 卜 E [ e a »^|^ n _,]. 

由于乂 =心 + a „ 〜 ，故由（ 3 0)式可见，应这样选择变量〜，使 


(30) 


Mn 


.2 

n 


2 




即 




/fn _ 1 
"^1'2 


对于这样选择变量 a n (l ( n < N )， 密度 Z N ( u ) 由下面的公式表示 


Zj ^( uj ) — exp 





2 


(31) 


如果一开始对于 I < n < 设 /xn = - </ 2 ,则 P = P 换句话说，原来的测度 P 
本身就是鞅. 

于是，对于所分析的 （ B ， S ) -市场 （B = ( B n ) 0 « N ) 有： 氏三1，而 S = 
(&) o «/ v 同例1 一样是无仲裁的，其宁&由（ 28 )式 表示. 作为习题（练习题 4 )， 
要求分析如下问题：上面建立的鞅测度於是否唯 一 - 

6. 随机金融数学的第二基本定理下面将要引进的 ( B ， S )- 市 场完全 性的概 
念，对于随机金融数学十分重要，因为（无论所考察的市场是无仲裁的，还是有仲裁 
的）它与如下很自然的问题有关：假如对于给定的可测“自筹资金委托” /〜， 
存在自筹资金总存量 7 T , 使其资本；准确 地再现 （或者至少不 小于） / N . 
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定义3称 （ S ， S )- 市场（关于时间 W ) 为完全的，或 iV -完全的，如果任意 
有界浞 N- 可测“自筹资金委托” //V 是可以再现的，即存在自筹资金总存量 7T ， 使 

= /at ( P - a . c .). 

定理 2 (第二基本定理） 同定理1 一样，假设怀叉, ^ n )0« N ， P ) 是过滤 
概率空间，义0 = (0， fi ), 叉 w =，；在 ( a ^,(^) n ^/ v , P ) 上给定的 ( B ,5) -市场 
是无仲裁的 (M(P) ^ 0). 

为使此市场是完全的，必要和充分条件是存在唯一鞅測度 (|M(P)| = 1). 

证明必要性 假设所考虑的市场是完全的，即对于任意， W 可测有界“自 
筹资金委托” /〜存在这样的自筹资金总存量 7 T = (/?，7)，使^^ = /n ( P - a . C .). 不 
失普遍性可以认为 凡==1，0彡 n 彡见 因而 ，由 （13) 式可见 


N 

= XS + Y 1 (32) 


由于所作的无仲裁性假设，鞅测度的集合 M(P) ^ 0. 现在证明，由于完全性假 
设，可见鞅测度的唯一性 (|M(P)| = 1). 

设 P 1 和 P 2 是两个鞅测度，则关于其中任何一个测度，序列 



\ k=l 






是鞅变换， 

对于某个集合4 €义^，设 / nM = 由于 ( P - a . c .) 对于某个 7 T ， 有 


N 


则由§1定理3可见，序列 



1«N 


是关于每一个测度 p 1 和 p 2 鞅.从而 


Ep «/ > 4 ( u ;) = x , i = 1,2, 


(33) 


其中 E P * 表示对测度 P 1 的数学期望，而因为叉0 = (0 ^\x = XS 是常数 • 

由 （ 33) 式可见,对于任意集合 4 有 P l (A) = P 2 (A). 从而，鞅测度的唯 

一性得证. 

充分性 充分性的证明比较复杂，我们将分为几阶段进行. 

1) 考虑无仲裁 (B,5) -市场 （ M(P) # 0 )， 同时假设鞅测度具有唯一性 (|M(P)| 

二 1). 
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注意，关于鞅测度唯一的假设，以及关于鞅测度完全性的假设，都是很强的限制. 
此外，结果表明，由这些假设自然地可见，轨道5 = ( S n ) 0 ^ N 具有“条件两点”的 
构造.关于这一点将在下面证明.（具体的例 子：设 ASn = pU CRR - 模型，其 
中只有两个可能值，因此条件概率 P ( A 5 n G ^ n - l ) 仅集中在和 65 n _, 
两个点上). 

鞅测度的唯一性 (| M ( P )| = 1) 也是加在滤波 n ) n ( N 构造上的限制.原来， 
o — 代数， n 自然应该是价格 5 0 ,5 l7 ... , S n 产生的 (7- 代数（只是现在假设认:三 
l，fc < n ). 关于这一点见 [1001 第610页的图形，以及 [100] 第五章的 §4 c . 

2) 作为证明蕴涵关系“ | M ( P )| = 1 完全性”路径的中间结果之一，我们证明 

如下的重要命题，它给出了无仲裁市场上完全性的等价 特征. 

引理2 为了使无仲裁 （ B ， S )- 市场是完全的，必要而且充分的条件是：在所 
有鞅测度的集合 M ( P ) 上，存在具有如下性质的测度分：任何有界鞅 m = 

，有 li ( S / B )- 表现” 


m n = m 0 + ( 急 ) ’ ( 34 ) 

fc— 1 

其中 7^(1 ^ k ^ n ) 是某一可预测随机 变量. 

证明引理 2 a ) 必要性设所考察的（认 •?) -市场是无仲裁的和完全的.（不失 
普遍性，可以认为 D n = l ,0^ n ^ N ). 〜 

取 M ( P ) 中的任意测度 P ，并且设 m = ( m rM ^ n , P ) 0 ^ n ^ N 是某一有限鞅 
(| m n | < c ,0 < n 彡 iV ). 记 /；v = myv . 那么，根据完全性的定义（见定义3)，存在这样 
的总存量 7 T * =，,7*)，使 XV =仏，且对于—切0 < n 彡 iV , 有 

n 

X% + (35) 


其中 z = 

由于 ；• = / N 彡 c ， 可见序列；=: ( W ， n ，？) o « N 是鞅（见§1定理 3). 
这样，就有具有同一最终值 MXJ ； = = f N ) 的两个鞅 m 和久’.但是，根据 

鞅性质的定义 m n =和 X；T = E ( XJ ； |，0,0 < n < iV . 因此，列维 （ P . 
P . Levy ) 鞅 m 和 X ’相等.从而，由 （35) 式知，对于鞅 m = { m n ^ n , P ) o^ n ^Ny W 

“5—表现 ，，: 

n 

m n — x ^ 7^ A 5 fc , 1 彡 n 彡 iV ， (36) 

k —\ 


其中 x = m 0 . 

b ) 充分性现在证明相反的结果 （“ S -表现” #完全 f ). 

根据假设的条件，存在测度戶€ M ( P ) ，使任何有限多-鞅有表 现”. 
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作为这样的鞅 X = ( X n ^ nj P ) o ^ AT , 取 Xn = E ( f N \^ n ) 的敎，其中 E 表示 
对于测度戶的数学期望，而~/\是定义3中提到的“支付委托”，且对于 A 需要求 
自筹资金总量 7 T ： X ]^ = / yv 中-和 P - a . c .). 

对于有界鞅 X = ( X n ^ n , P ) o ^ N , 考虑其-表 现”： 

n 

^n = ^o + ^7 fcA 5 fc , (37) 

k=l 

其中是某 ^-1- 可测随机变董. 

现在证明，由此可见，存在自筹资金总存量开= (^,7), 使得 对于一 切0 < n 彡 AT ， 
特别对于 In = X n = X %, 有定义3所要求的表现： 

n 

f N = X ^^ k AS k . (38) 

Ar=l 

有了 （37) 式，现在设〜并且定义 

瓦= X n - 7 n 5 n . (39) 

由 （37) 式可见，随机变 量丄是 可测的.这时，有 

Sn-lAjn + A0 n = 5 n -iA7n + AX n - △(7n*5 n ) 

= 1 A^n + 1n&S n - A(7 n 5 n ) = 0. 

这样，根据第三小节，所建立的总存童 S =: _是自筹的，并且= / N , 即 
无仲裁 （ B ， S )- 市场是完全的得证. 

于是，引理3得证 .口 

3) 由引理3可见，为完成定理2的证明，需要证明如 下一系 列蕴涵关系： 

• 1 | M ( P )| 二 1 表现 | 爲 | 壳全司 與 

在证明引理2的“必要性”时，“蕴涵关系 {1} ”己经得证_，“蕴涵关系⑼”就是引 
理 2. 

为使蕴涵关系 {3} 的证明更加清晰，考虑由 CRR - 模型描绘的 ( B ,5) -市场的 
特殊情形. 

上面（例 1) 曾指出，对于这样的模型，鞅测度？是唯一的 (| M ( P )| = 1). 因此， 
需要弄清楚，这里为什么（关于鞅测度 P ) “ S - 表现”成立 • 原来在上面己经指出， 
关键是⑷式中的变量只有 a 和6两个可能值，而作为这一事实的推论，条件分 
布 P { A 5€.|^ n _ i } 全部仅集中在两个点上（“条件两点”). 

这样，考虑例1中引进的 CRR -模型，并且补充假设对于1 < n < N^ n = 
<r(p ir - ， Pn )， 而又0 = (0 ， ⑺•以乒表示由（打）式定义在 ( a ^ iv ) 上的鞅测度 ♦ 
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设； i ： = ( X n ， 义 n ， P )0 «N 是有界鞅，则存在函数如=如 ( A ，…， X n ), 使 
x n (u>) = g n {pi(uj)r- ， PnM), 因此 

△Xn = 9n(Ply • • . ， Pn) — 9n— 1 (Pi •> . • • ， Pn— 1 )• 

由于可见 

P 9 n{p\r- ， Pn-l, 办）一 Q 9 n(P\r- ,pn-l,«)= 夕 n-l(Pl ， … ， Pn-l )， 


即 


9n(pir * * ， Pn-l ， 6) — Pn-l(Pl ， … ， Pn-l) 


9n — l{pl i 


， Pn- 1) — 9n{ph • • • ， Pn — l > 


由于卢 =(r _a)/(6 — ci)，？= (b-r)/(b-a), 故由 （ 40) 式可见 

gnjpir- ， Pn-l ， 办）一分 n-l(pl ， ... ， Pn-l) 

6 _ r 

9 n(P\y- - yPn-\^ 0 ) iPn-l) 


(40) 


(41) 


设 fi n ({ a }; uj ) = /(pnM = a ), Hn ({ b }\ u ) = I ( p n (^) = b ); 并且设 

W n {uJ,x) ^ Pn(Pl(W) ， … ， Pn-i« 工） - 殳 n-l(PlM ， … ， Pn-lM，^) 


由于这些记号，可见 

AX n (u;) = W n (ij ) p n (u；)) 



W n (uj,x)fin{dx；(j) 



(x - r)W^(uj } x)fi n (dx\uj). 


由于 （41) 式，可见 ％(a;，x) 与: r 无关.如果将 （ 4 1) 式的左侧（或等价地将右侧）的 
式子，记作7纟(^>,则得 


从而 


AX n (u；) = "y 二 (a»)(/? n (a;) — r). 


(42) 


x n (uj) — Xo ( u ^) + ~ r l 


(43) 


易见，有 


由此，得 


/ S n \ _ S n _i 
\ ) B n ^\ 


Pn — r 

1 + r 


Pn~r = 


㈣ 


Su_ 


§11. 随机金鼬数学的基本定理.无仲裁的鞅特征 


• 217 • 


故由 （43) 式，可见 

Xn ( uj ) = Xo ( lj ) + ^>(啦(豐)， (44) 

其中 

^/ c -1 

序列 

丑 \^nj o ^ n^N 

关于测度 f 是鞅.于是，上面引进的关系式 （ 44) 恰好是， X 关于（基本） 会-鞅 S /万 

的 认 SjB — 表现”. 

4) 在 CRR - 模型（其中 | M ( P )| = 1) 的蕴涵关系的证明中，关键是变量 p n 

只有( X 和6 两个可 能值.然而，结果表明，关于鞅测度戶唯一性的假设是相当强的 
条件，以至于由此可以得到变量 Pn = 具有“两点”的 结构： 存在可以预 

测的量 a n = a n ( u ;) 和= 6 n ( a ;) ，使 

^(Pn = dnl^n-x) - {- P(p n = b n \^ n _i) = 1. (45) 

如果相信这条性质 ， 那么上面所作的 CRR - 模型中 - S / B - 表现”的证明，在 
一 般情形下仍然“适用”.这样只剩下证明 （ 45) 式.在假定读者独立证明 （ 45) 式的 
正确性（练习题 5) 的情况下，我们仍然引进某些启发性想法，说明具备鞅测度的唯 
一 性导致“条件两点”的结构. 

假设 Q = Q ( d : r ) 是 ( R ,^( R )) 上的某一概率分布，而$ = 是一坐标给定的 

随机变暈 ( e ( x ) = x ), 并且满足 条件： Eq |^| < oc , E <^ = 0 (“鞅性”)；而测度 Q 具有 
性质： 假如6是满足 条件: Eq |^| < oc , E ^ = 0 的另一测度，那么必有 Q = Q (“較 
测度的唯一性”). 

可以证明，测度 Q 的承 载子最多集中在两点 （ a 彡0 和 6彡 0) 上，也可能两点 
都“粘合”在“零”点 （a = 6 = 0). 

5) 上面提到的启发性想法，使得可以将上面最后表述的、十分近乎情理的命题， 
可以叙述如下. 

假设测度 Q 集中在 X _, Xo , X + 等三个点上， 而且三个点是有序的: X - 彡 : To < X +, 
其质量（权重）相应为 q ^^ qo , Q \-- 条件 Eq ^ = 0表示 

-f qoXo + 分 +x+ = ()• 

假如 x 0 = 0 ， 贝 lj q-X- q + x^. = 0 •设 
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即把在点: r _ 和: r + 上的部分质量_和 (?+ “汲取到”点 xo 上. 

由 （46) 式可见，相应的测度$〜 Q ， 且= 0 ,而且 Q ^ Q . 

但是，这与具有性质 E Q 《 = 0的测度 Q 的唯一性矛盾. 

从而，测度 Q 不可能集中在 ( x ^, a : 0 , x + ) 三个点上，且= 0 . 类似地可以基 
于“汲取质量”的思路，讨论 : ro / 0的情形.（详见 [100 J 的第 V 章 §4 e ). □ 

7. 练习题 

1. 假设 P { AS l = 0} < 1 ,对于 iV = 1的情形，证明无仲裁条件等价于不等式 
(18) 成立等价. 

2. 证明，第4小节引理1的证明中，条件 （19) 排除可能性 2). 

3. 证明，第5小节例1中的测度乒 是鞅測度, 并且在这种情形下在 M ( P ) 类中 
是唯一的. 

4. 讨论第5小节例2建立的鞅测度的唯一性. 

5. 证明，对于变量 S n / D n {\ ^ n ^ N ) 的分布，由 ( B ， S )- 模型中的条件 

| M ( P )| = 1 ，得“条件两点”. • 

§12. 无仲裁模型中与“套头交易”有关的核算 

1. 购货保留权 （选 择权）进行套头交易 ( hedge , 即买即卖)，是有价证卷总存 
量的动态管理的基本方法之一.下面通过所 谓选择权合同 （简 称选择权） 核算的例子， 
阐述这种方法某些基本原理和结果. 

作为任意有价证券，（金融工程的工具） 选择权 具有非常高的 风险. 然而与此同 
时这些工具（及其与其他有价证券的组合，例如， 期货）被 成功地利用，不仅为通过 
“市场”价格的变化而获得收入的目的，而且在“市场”价格出现戏剧性变化的情况 
下是（选择权的） 保护工具. 

选择权 ( option , 选择）指金融机构发行的有价证券（合同)，在协议的时间内或 
者在事先约定条件下的时间，陚予买方购买或出售一定的价值（例如，股票,偾券，货 
币）的 权限. 

设计选择权核算的基本问题之一，在于按何 种价格 出售选择权？显然，卖方希望 
获得 “ 尽童多”，而买方希望付出“尽量少”.问什么价格是“正确的”，“合理的”，是 
买方和卖方应该都可以接受的价格？ 

自然，这一 “合理的”价格应该是“明智的”.具体地说，买方应该明白，用较低 
的价格购买选择权，不能得到卖方的兑现自己义务的承诺，因为它所得到的“奖励”， 
有可能简直不足以保障构成“供货委托”总存量. 

与此同时，这些“奖励”不应给卖方提供 “free lunch (免费午餐)” 一类的仲裁机 
会，即得到无 风险收 入的可能性. 
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在给出应如何理解选择权的“正确”价格的定义之前，我们首先考虑选择权•一 
些被普遍采用的分类. 

2. 购货保留权（选择权）的类型设 ( a ^,(^ n ) 0 ^/ v , P ) 是过滤概率空间, 
而 f 0 = {0, 叫，且考虑定义在给定概率空间上，在时间 n = 0,〗， .• • ，尺 
运转的 ( B , S ) 市场，其中 i ? = ( B n ) o^ n ^NiS = ( S n ) o ^ n^N • 

下面考虑的选择权，建立在股票上的情形，假设其价格由序列 S = ( S n ) o^N 
描绘的. 

选择权按的执行时间分为两种类型： 欧洲型和美国型. 

如果选择权可以表现为仅在合同固定的时间 7 V 进行，则称； V 为执行时间，这 
样的选择权称 为欧洲型的. 

如果选择权可以表现为，可以在任意马尔可夫时间或者停止时间 T = r ( u ;) 进行 
(见§1定义3)，且 r = r { u ) 在合同的条件中，预先说明的集合{ 0 ， 1 ， …， 7 V } 中的值， 

则所考虑的选择权 是美国型的. 

按照通用的术语，区分如下两类选 择权： 

(1) 买方选择权 (call option ® ,由此产生了的术语 oiiumoh-kojiji (购买权 )） 

(2) 卖方选择权 （put option ②， 由此产生了的术语 onuwoH-nyT (出售权 ))• 

为确定计，我们考虑 欧洲型 标准选择权的例子. 

这样的选择权由两份合同 体现： 执行时间 iV 和购买价格 K (对于买方)，或出售 
价格 K (对于卖方). 

假如，万一在时间 7 V “市场”价格 S N > K , 则根据合同的条件，选择权的买 
方有权按价格 K 购买股票.买方同样有权按 “ 市场”价格 出售，这样可获利 
S N - K . 假如结果为则协议商定的按价格 K 的购买权应亳无疑义地采 
用，因为可以用较低于“市场”价的价格 Sw 购入股票. 

于是，综合这两种情形可见，买方在时间 iV 的收入决定于量： 

fN = ( Sn » 欠)+， ⑴ 

其中对于任意实数= max ( a ,0) .其“纯” 收入等于 //v 减去他支付给股票卖方 
的“奖励”. 

类似地，出售权卖方的收入决定于量： 

HSn)' ( 2 ) 

3. 完全市场和不完全市场在定义无仲裁 （ S ， S )- 市场的“合理”价值，应当 
区分两种情形： 完全市场和不完全市场. 

①买证券的特权，买期货的权利.俄语译为 “ OnUMOH-KOJIJI ”• -译者 

⑦买期货的权利.俄语译为 “omuu> H - n yT”. —— 译者 




第七章构成鞅的随机变置序列 


定义1 设 (5,5) - 市场是 无仲裁的和完全的.完全套头交易的 价格，即量 

C (/ lV ; P ) = inf{x : 3 tt , it = x , XJ , = / N (P - a . c .)}, (3) 

称做欧 洲型选择权的 “合理”价格，其中 / n 是 牙 N - 可测有界（非负）支付函数. 

关于这一定义我们指出，如果依 P - 概率1有> /7 V ， 则称总存量 7 T 为支付 
委托的费用•由§11可见，对 于完全 无仲裁市场的情形，存在有界“支付费用”的完 
全套头交易 7 T ， 即满足 X 》= / aKP - a . c .) 的 7 T . 这恰好说明，为什么在定义3中，要 
考虑具有性质 XJI . = /yv (P - a . c .) 的(非空）总存量类. 

对于不完全无仲裁 市场的情形，自然地有如下定义. 

定义2设 ( B ， S )- 市场 是无仲 裁的. 超级套头交易的价格，即价格 

C (/ n ； P ) = inf{x : 37 T , 使 ^ / n(P - a . c .)}, ⑷ 

称做具有 〜一 可测有界（非负）支付函数 / n 的， 欧洲型选择权的 “合理” 价格 • 
注意，该定义是适定的：对于任何有界函数 / n ， 一 定存在具有初始资本工的总 

讀 

存景 7 T , 使 X 》^ / N (P - a . c .). 

4. 价格公式现在引进 C (/； v ; P ) 的公式，并且对于完全市场的情形给予证明， 
而对于不完全市场的情形，介绍专门的文献 ([100] 第 VI 章 §1). 

定理1 1) 对于完全的无仲裁 ( B ,5) -市场的情形，支付函数为// V 的欧洲型 

选择权的 “ 合理”价格，决定于公式 

C (/ N ; P )= B 0 Ep ^, (5) 

其中 Eg 是对（唯一）鞅測度乒的数学 期望. 

2) 对于一般不完全的无仲裁 ( B , S )- 市场的情形，支付函數为 / tv 的欧洲型选 

择权的 “ 合理”价格，决定于公式 

C (/ n ； P )= sup BoEp -^-, (6) 

P€M(P) 


其中 sup 在一切鞅测度 M ( P ) 的集合上来求 • 

证明 1) 设 7T 是某完全套头交易，其中 = x y X- N = / n ( P - ax .). 那么，有 


(见§11的 （15) 式) 



⑺ 


因而，由于§1的定理3,得 




(8) 


因为，由于鞅变换 
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可见在“最末”时间 7 V ， 有 


i + S 7fcA (t) = ^^°- ⑼ 

注意,(8)式的左 侧不依赖于， 所考虑的初始值为 XJ 的套头交易 7 T . 假如现 
在 tt ' 是初始值为的另外一起套头交易，则根据 （8) 式其值仍等于 B 0 E p ( f N / B N ). 
由此显然，对于 一切完 全套头交易，初始值 x 是同一个. 于是，就证明了 （5) 式. 

2) 我们在这里只证明不等式 


sup B 0 Ep ^ < C (/^; P ). (10) 

P€M(P) 

(相反不等式的证明，要用到所谓“选择权”的分解，而这已经超出本书的 范围； 见 
[1001 第 VI 章的 § lc ) 和 §2 d )). 

假设对套头交易 7 T ， 有 ；^ = X ， X 》 > MP- a . c .). 

那么，由 （7) 式可见 





In 

Bn 


^ 0 . 


因此， 对于任何 测度？ G M ( P ) ，有 


5oEp 


/n 

Bn 


^ x 


(对照⑻式和⑼式).于是，如果该式的左侧对于所有 P € M ( P ) 求 sup ， 则得所 
要证明的 （10) 式. 口 

5. 美国型购货保留权（选择权）考虑涉及美国型选择权的一些定义和结果.对 
于这样的选择权需要作如下假设：给定涉及时间#的不只一个支付函数// V ，而是 
整整一 组函數 这些支付函数的含义是,如果选择权表明实方出现在时 
间71，则（卖方给买方选择权的）相应的支付决定于 （ 可测）函数 /n = / n ( W . 

以 T = T(U；) 表示值域为{0, ；!，••• ，7 V } 的马尔可夫时间.假如选择权的买方决 
定在时间 T = T ( o 0 提出要求执行选择权，则支付函数等于因而有价证券 
7 T 选择权的卖方永远应当预见到，使得对 于任何 r , 都能满足套头交易的如下 条件: 
X ： ^ / T (P - a . c .). 

这说明了如下定义的合理性. 

定义3设 （ B ， S )- 市场是无仲裁的，而/ = (/«)0« iV 是 ^ n - 可测非负支 
付函数 / n 系.超级套头交易的最高价格，即价格 


C (/; P )= inf{x : = x,Xl > / n ( P - a . c .)，0 < n 彡 iV }， （11) 

称做以 / = (/ n )0 ^N 为支付函数系的、美国型选择权的“合理” 价格. 
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对于美国型选择权的情形，我们（不加证明地）引进定理1的如下类似. 

定理 2 1) 对于完全的无仲裁（万，5)- 市场的情形，以 / = ( A ) 0 « w 为支付 

函数系的、美国型选择权的 “ 合理”价格，决定于公式 

C (/; P )= sup B 0 E p 昝, (12) 

其中 OTf = {r : t 彡 iV } 是（关于（叉 n ) 0 «/^ 的停时类，而 P 是唯一鞅測度 . E 戶 
是对（唯一）鞅测度多的数学期望. 

2) 对于一般不完全的无仲裁 ( B ， S ) - 市场的情形，支付函教为/ = ( fn ) o^N 
的美国型选择权的 “ 合理”价格，决定于公式 

C (/; P )= sup B 0 Ep 昝， （13) 

t€9JI^,P€M(P) 

其中 M ( P ) 是一切鞅測度 P 的集合 • 

证明见 [100] 第 VI 章的 §2 c . 

6. 欧洲型购货保留权（选择权）上面的两个定理回答选择权如何决定其“合 
理”价格的问题. 

在得到“奖励” C (/ N ; P ) 和 C (/； P ) 之后，选择权的卖方如何建立套头存量 7 T * 
的问题也同样重要. 

为简便计，我们的叙述仅限于考虑欧洲型购货选择 权完全 ( B ,5) - 市场的 情形. 
定理3 设 ( B 、 S )- 市场是无仲裁的和完 全的. 

存在自筹总存量 ， 其初始资本为 = C (/^; P ) , 并且实行完全支 
付义务 / tv 的套头交易： 

= / at(P _ a . c .). 

资本 A ：， = f 3^ B n ^ S n (0 ^ n ^ N ) 的变动决定于如下公式 

9 

X :’ = B n E 呑 说 ^ n ). (14) 

自筹总存量浐 ={ P \ Y ) 中的分量 7* = (7；) o < n ^ N , 根据 X ，= 的值 

由公式 

△(蝥 )=#(|)， ⑽ 

来求，而分量= (/^ n ) o ^ n ^ N 的值由公式 


来求. 


XI = !T n B n + Y n S n 、 


(16) 
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定理 的证明 可以直接仿照§11引理2中蕴涵关系 

“完全性”分-表现” 
的证明得到.为此，只需将上面蕴涵关系的证明用于鞅 


771 = (m n )o^ n ^/V, 



7. 选择权实际核算的例作为选择权实际核算的例子，考虑由 CCR - 模型 


B n = + r), 

= S n — 1 (1 -f" Pn )， 



描绘的 ( B . S )- 市场，其中 pi , •• - , p N 是只有 a 和 6(-1 < a <r < b ) 两个可能值 
的、独立同分布随机变量. 

这样的市场 是无仲裁的和完全的 （见§11练习题3)，且与其相联系的鞅测度乒 
满足: P { p n = 6} = p , P { p n = d } 其中 



(见 §11 第 5 小节例 1). 

根据定理1的 （5) 式，对于所考虑的 ( B ,5) -市场，“合理”价格为 

C (/^; P ) = Ep ^ p . (19) 

故根据定理3求完全套头交易总存量 ^(( 3 \ Y ) >需要首先计算 

^o*=Ep(^p|^n), (20) 

其中义 „ ：=。(〜… ,/9 n ),l 彡 7 V ， 且叉 o = 然后由公式 （15) 和 （16) 求 

和 r . 

由于邱 • = C (/ N ; P ), 可见这一切归结为，对于 n = 0,1,…， 7 V ， 求 （20) 式右侧 
的条件数学期望. 

假设义可测函数 // v 有“马尔可夫”结构，即仏= f ( S N \ 其中/ = /⑻ 
是 x >0 的某一非负函数. 

记 n 

F n ( x ]P ) = f /( a:(l +6 ) fc (l + - p )"-*. (21) 

fc =0 


Y [ (l + Pfc ) = (1 + 6)厶" - 4 (1 + a )( N - nH △"一 △„>， 

n < k^N 


由于 
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其中 A/c =心十 • ♦ • + ，而 5 k = [pk - a)/(6 — a )， 可见 


E p / I X El C 1 ^ Pk ) \ = 其中歹 

n < k^N 


a 


a 


(22) 


而考虑到 


S N = S n (1 十外 ) 

n < fc^N 


故由式 （ 21 ) 式和 （ 22 ) 式，得 





In 


(1 + r) N 




(l+r)— N F N - n (S n ，^) 


特别， 


C ( f N ; P ) = Xf ^( l + ry N F N ( S 0 , p ). 


于是，由 （ 15) 式，并注意到 （ 23) 式，可见 


7n = A 


B n 



A 


Sn 

瓦 


决定于 


▲ * /-i i 的 、- (iV-n) FN-n(S n _ i(l + 办 );^) 一 一 n[S n 

7 ， (1 州 Sn ： i (6^ a )~~ 


(l-ha);p) 


为求 A 注意到 B n ^ { A /3 *-h 6V , A 7 ； = 0 . 所以 


(23) 


(24) 


(25) 


^n-l = Pn^n-l 4 - 7n*^n-l» 


(26) 


因此 * 

o* ^n-l 一 InSn-X / 。 7 、 

0n = - p - • ( 27 ) 

乜 n—l 

由 （ 23) 式和 （ 25) 式，可见 

/? 二 = /V-n+l (^n-15 p) — i + 办 [F/V-n(Sn_l(l + ^)>P) 

-FN^n.^l+a);^)]}. (28) 

最后，我们讨论一下，例如，在买方 的标准 选择权（购买权）的情形下，即当函数 
/;v = (Sw _ /0+时，“合理”价格 C (/ N ? P ) 的公式具有何种 形式. 

设尺 0 = ^ 0 ( 0 , 6 ^； so / K ) 是满足如下条件的最小整数： 

5 o (1+ a ) N ( r +^) ° >K ^ ^ (29) 
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即设 

w 卜 (^pO/KS )]， （ 3o) 

其中间表示: r 的整数部分. 

如果记 ‘ 

戶 ，其中 

1+ r b-a 

而 

N 

B(K 0 , AT ， P )= 乙 C k N p k (l -p) N _ k ’ (31) 

A:=Ko 

则对于标准 购买权 ，由 （24) 式不难推导出 “ 合理”价格（记作 Qv ) 的如下（考科斯- 
罗斯-鲁宾斯坦） 公式： 

C N = S 0 l(^Ar ； p*)- ^(l-fr)- N ®(^ 0 ,iV;p). (32) 

当 ;> N 时 Cw = 0. 

注由于 

(I< - S N ) + = (S N - K)^ + . 

可 见卖方的标准选择权 （出售权）“合理”价格 lV (= C (/； v T P ), 其中炀= ( K -^ S n ) + ) 
决定于如下 公式： 

P N = E(1 -f r)~ N {K- S N ) + = Cn - E(1 + r)~ N S N + A：(l + r) 一 N . 

因为 E ( l - fr )- N S N =5 0 , 所以显然有“平价 购买-出售权”恒等式： 

P n =Cat-5 0 4 -尺 (1 + r)_ N ‘ (33) 

8. 练习题 

1. 对于§11第5小节例2中的（丑，5)-市场模型，求标准选择权的出售权的 
“合理” 价格: C (/ N , P ), 其中 /n = ( 〜- K) + . 

2. 试证明 （10) 式中相反不等式的正 确性. 

3. 证明 （12) 式，并试证明 （13) 式. 

4. 证明 （23) 式详细类似的结论. 

5. 证明 （25) 式和 （28) 式. 

6. 对 （32) 式进行详细的推导. 
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§13. 最优停时问题.鞅方法 

1. “合理”价格在这一节中，我们假设给定一固定的概率空间 （ a ^， 
(叉 Joo ， P ) 和叉0 = (0 A ). 设 r = t { u ) 是马尔可夫时间（或停止时间)，其值 
域是集合{0,〗，•••：}.设 OTf 是由属于集合 


{cu : t(uj) = n} € 


⑴ 


的值域为 {0,1,.-. , iV } 的随机变量 T = 丁 ( U ；) 类. 在描绘美国型选择权“合理”价格 
时，我们已经遇到过有关停止时间的例子.具体地说，§12的 （12) 式表明，对于简化 
了的条件： = 1,0 < n < 7V 和卢 = P ， 为求这一价格，需要寻找量（也称做“价 

格”） 




sup E/ r , 

r€an；^ 


( 2 ) 


其中/ = (/0,/ i …， / N ) 是，可测非负函数 / n 的序列 • 

设 T = t ( uj ) € 是马尔可夫时间.与问题⑴同时，对寻求量（“价格”) 

= sup E/ r 


(3) 


感兴趣，其中 OTf = {7 ■:了 < oo }， 而/ = (/()，/! ，…） 是可测随机变量 / n ， 
n 彡 0 的随机序列，且 E|/ r | < oo. 

像 （2) 式的情形一样，对于情形⑶，除寻求“价格” C 和之外，（若上确界 
存在）还要寻求达到上 确界的时间. 

在许多问题中，允许考虑可以取+00为值的马尔可夫时间也是适宜的.在这种 
情形下，讨论 E / t 时应当约定如何理解 /oo. —种自然的方法是把 /oo 视为的 H ^ n/n 
的值.另一种方法是，允许对于 T 值和无限大，把“价格”定义为 


— sup E/ r /(r < oo), 

其中预 f 是马尔可夫时间类，即一切马尔可夫时间的集合面: 
然，若 /oo = 0,则 


⑷ 


{r : r ^ oo } •显 


% 


sup E/ r 
€M 0 - 


(对照 §1 的第 3 小节) • 


我们在下面将只考虑问题 （2). (关于 iV 


的情形，见第 VIII 章 §9). 假如不 


考虑序列/ == (/o,,/ n) 的具体购造，则问题 （ 2) 和 （ 3) 的解法是下面描绘的 
“鞅” 方法.（不失普遍性，我们以后都假设对于一切 n(N ， 有 E|/ n | < oo, 并且每次 
不再特别说明). 
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2. 价格最高的时间设 N < 00. 现在考虑的情形可以看成“向后归纳法”，这 
里用下面的方式实现. 

与价格同时引进 “ 价格” 

sup E / r ， （ 5) 

r € OT；y 

其中刃 ^ = {r : n 彡 7 •彡 iV } 是对于一切 u ； e A 满足 n < t(uj) ^ N 的停时类. 

对于 n = TV — 1，...，0,同样直观地引进随机序列= «) o « n ， 其中 

vjv=/N> ^ ⑹ 

对于 OgngAT ， 设 

= min{n ^ N : fk — v^}. (7) 

下面的命题可以完整地描绘，利用所引进的量，求解（ 2 )式（⑺式的最优停止的 
问题. 

定理 1 假设对于序列 / = (/o ， /l, … ， /n )， 随机变量 /n ， n 彡 0 为 fn- 可測 . 
1) 对于每一个 n(0 ^ n ^ N), 时间 

丁二 = min{n ( k < N : vf = f k }- ( 8 ) 



⑼ 

( 10 ) 

( 11 ) 

( 12 ) 

(13) 


如果 n = 7 V ， 则 


Vff = E/ N . 


( 14 ) 
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3. 随机变量族的本质上确界 在开始证明之前我们回忆，关于 （10) 式中使用 
的 ^ 可测随机变量族 {^ Q ( u；),a € 11} 的、本质 上确界 ess sup 匕 ( o ;) 的 概念. 

a€U 

下面的情况决定了引进这一概念的必 要性： 在不可数集合 II 的情形下，函数 
sup ^( u ;)( u ; € Q ) 一般有可能是 ^ - 不可 测的. 

a 6 U 

事 实上，对于任意 ceR , 

sup ^ Q ( u ) < cl = n {a； : ^a(^) < c }, 

l J aeu 

这里，集合 1 = { u ；: CM < c } € 叉（即 4 是事件).然而，由于集合 u 的不 
可数性，故不能保障 f ] A a ^ {u ： < c } € ^ . 

a€U 

定义设 {^( a ;) : a €11} 是随机变量族（即值域为（- OO , + OC ) 的 ， n - 可测函 
数族).称广义随机变量 €( CJ ) (即值域为（- oo ,+ oo ) 的 义 n - 可测函数）是随机变暈 
族 { Ca (^) : A € 11} 的本质上确界，记作 ^( u ;) = ess sup ^ a ( u ;)， 如果 

aeu 

a ) 对于一切 a e U ,$( cj ) ^《 a ( a;)(P - a . c .)， 

b ) 由于对于，（广义）随机变最 " M , 对一切 a e 11满足 r / M 彡 CaM(P - ax .), 
可见 ^( a ;) ^ r /( u;)(P - a . c .). 

换句话说，在一切控制随机变童€ U 的（广义）随机变量中，是最 
小的（广义）随机变量. 

当然，首先应该证明这一定 义富有内容, 而这由下面的引理可以看到 • 

引理对于任意随机变量族 {&M : a ^ U }, 存在具有定义中性质 a ) 和 b ) 的 
随机变量(记作= ess sup ^ a ( u ；), 一般为广义随机变 量). 

aEU 

存在具有同样性质的子集 llo SU ， 并且作为这样的随机变量，可以取随机变量 


= SUp O). 
aGHo 

证明首先假设所有变量 U^),aeii ，一 致有界 (\ U ^)\ <c^€fi,a€il) 
设4是下标 aeii 的有限集合.记 


5( A ) = • 


其次，设 


sup 5(A), 其中上确界对一切有限子集 A g U 来求 


对于 n > 1，以 表示满足 




^ a (^) ) ^ S - 


的有限集合 



§13. 最优停时问睡.鞅方法 


• 229 • 


记 Uo = A 由于这一集合的可数，函数 

n^l 


= sup o ) 

aeu t , 

可测，因此是随机变童.（注意，由于< C , 可见 CM 是普通的，而不是 
广义随机变量). 

由随机变量&0；)如上的构造可见（练习题1)，它满足上面定义中的条件 a ) 和 

b)- 

因而，在随机变量族 { U ^) : 一致有界的情形下，就证明了上确界的存 

在性. 

在一般情形下，需要首先由随机变量转换为有界随机变量 U ^) = 

arctanC tt ( u ；), 使之满足 |乙( 0 ；)| < 7 r /2 ,a € li , o ; G 然后建立 ^( lj ) = ess sup ^ a ( o ;). 

aeu 

随机变量 u ^) = tan ^ a ( cj ) 满足本质上确界定义（练习题 1) 的条件 a ) 和 b ). 

4. 定理 1 的证明 

证明固定上标而为简便计现在将其略去. 

如果 n = AT , 则 VN = fN 达 t n = N , 故性质⑼〜 (12), (14) 显然.现在用归纳 
法证明. 

设对于 n = N ， N - h …， k , 定理的论断己经得证.现在证明对于 n = _ 1,定 
理的论断也成立. 

设 T e 和 ^ k -\> 定义时间〒 € 设〒= max ( r ， A :). 由 

于〒€且事件 { r ^ k } e h 一 u 可见 

E[/>i/ t ] = E[/ i 4n{T=fc—l}/r] ®[’An{r 彡 fc},T] 

= Ef / Anfr ^/ c - lj / r ] + E [/ j 4 n { r ^ fc } E (/ r |^ fc - l )] 

=E[/4n{ T=fc _i}/ r ] 4 - E[/yin{r^fc}E(E(/r|^fc)|^A ： -i)j 

< E[/4n{r=fe-i}/fc-i] + E [/ i 4n{ r ^ fc }E(v/t|^ r fc-i)] ^ E[I A Vk^i}- (15) 

由于集合 A 的 〜一「 可测性，由此可见，对于任意设 t e ax .), 

E(/ r |^i)^^_i. (16) 

现在证明，对于时间 Tfcq ，依 P - 概率1，有 

E (/ Tjk _ 1 |^ fe -i) = ^ 1 . (17) 

(假如能证明该式，则由 （16) 式可见，对于 n = A : - 1，关系式 （10) 和 （11) 也成立). 
为此，只需证明，对于 t = 丁 k - u 实际上 （15) 式到处为等式. 
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像 （15) 式那样开始，并注意到根据 （5) 式的定义在集合 { r.-x > k } 上 t = n , 
则（根据归纳法的假设）由 E (/ r J ， fc ) = v k ( P - ax .)， 可得 

EWn — r = E[J 則 n _ 1= n} 八 —i] + E[/ J 4n{r Jl -_i^A ： }E(/ rfc _ 1 fc-i)] 

=E[/ i 4n{ n ._ 1 =fc-i}/fc-i] + E U>4n{r fc -. 1 ^fc}E(/ Tfc fc-i)] 

=E [/ 則 n _ 1= 卜 ” /fc 一 1] + E[/ i 4n{r A ._i^A:}E(t ； fc|^A:-l)] = 

其中在证明最后一个等式时，根据⑹式 ，有 : H = ma ^ A - hE (叫 0); 由此 
可见，在集合 { r fc _i = A : - 1} 上 Vfc_i =九 一 1 ， 而在集合 { r fc _i > fc - 1} = { r / t_i ^ k } 
± v k -x > fk -\ (因此，在这一集合上 = E ( v k \^ k - i ))- 

这样，性质 （17) 得证.像前面已经指出的那样，该性质连同 （16) 式就证明了欲 
证的关系式 （10) 和 (11). 

由这些关系式可见，对于 r e dn n (= imf ), (p - a . c .) 有 

t ； n- E (/ r „ \^n)^ E(/ r |^ n ). (18) 

从而，注意到 = w ， 由此可得 

Ev 卜 E/ Tu ^ sup Ef r = V n N } (19) 

而这就证明了欲证的关系式 （ 9) 和 （ 12). 

性质 （ 13) 是如下两个性质的特殊情形： 1) 性质 （ 13) 是性质 （ 12) 当 n = 0 时的 
情形， 2) < 是常数（因为由 （ 11) 式，以及 a- 代数少 0 = (0 ， ⑺是平凡的).最后， 
等式 （ 14) 当 n = iV 时是定义 （ 5) 的推论. 口 

5. 最优停时的“鞅，，视角为显示所研究的最优停止问题的“鞅”视角，现在 
讨论序列，=(«，•••，4),的递推关系式⑹，其中4 = / yv 是“边界”条件. 
由 （6) 式可见，对于每个 n = 0， l ， … ， iV - l ，（ P - a . c .) 有 

^ > / n , (20) 

^> E (^ +1 |^ n ). (21) 

第一个不等式在这里表示，序列控制序列/ = ( f Q ， f u … 、 f N ). 第 二个不 
等式表示，序列是“术语”值为= / n 的 上鞅. 这样，可以说，序列= 

其中由⑹式或 （11) 式决定于的量是上鞅的控 制序列 / = 

(/ o ，/ l ， … >/ n )« 

换一种说法，这表示序列， 属 于序列，= (7 0 '7{ V .. ，7分）类，其中 < 彡 
f N 、 且对于一切 n = 0,1，…， 7 V - 1 ， (P - a . c .) 满足“变分不等式” 


In > max(/ n ,E(7n+il^ r n))- 


( 22 ) 
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但是序列具有如下补充性质: （22) 式不仅是 “不严格”不等式 ，”，而且就是 
等式“ = ”（见⑹式). 根 据这条性质，就可以用如下方式从序列, 
类 （其中 / N ) 中，划分出 序列， • 

定理 2 序列，是最小上鞅的控制序列 f = … ，/ n ). 

证明事实上，由于# = / W ， 而#彡 / a 可见#彡1 必. 由此以及 （22) 式和 
(6) 式, ( P - a . c .) 有 

7/ v^-i ^ max (/ y V - i , E (7 1 v |^ N - i )) ^ max (/ Ar - i , E ( vjvl ^, v - i )) = Vji - 1 - 

类似地，对于其余 n < W - 1,可得 
注 该定理得结果可以表述为如下形式： 递推方程组 

v'n = max(/ n? E(^n+il^n)), n< N, 

的解 V N = («." 其中 4 = / w 是递推不等式组 

7n N ^ max ( 九 ， n < A' (23) 

一切可能解 =(7 f ,7{ V .* >7^) 中最小者，其中 W 彡 / N . 

6. 停时集与继续观测集 定理1和定理2,不仅描绘寻找价格 V ，= supE/ r 
的方法，其中上确界在马尔可夫类时间刃^上求，但同时表明如何求最优时间 t 0 n ， 
即使 Ef T N = V 0 N 的时间 • 

根据 ° ⑻式 

= min {0 < k ( N : vj ^ = 八}. (24) 

在求解关于最优停时问题时，如下这一停时 Tf 的等价描绘很重要.设 

= {a;:^(a;) = / n M} (25) 

和 

c 卜 = { u ； : ^( u ;) = E (^ +1 |^ n )( a ;)}. 

显然 ， DK = n，cg = 0 和 

dS / cd 1 n c ^^ 1 cd ^ = q j 

CfX 2,… f DCj ^ = 0. 

由 （24) 和 （25) 式可见，时间 rf 可由下列形式定义 

Tq V = min {0 ^ k ^ N : cj E }. (26) 

自然，称区域为“停时 集合， ’， 称区域 Cf 为“继续观測集 合”. 这些术语的 
正确性有如下根据. 
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假设时间 n = 0,并将集合 Q 划分为两个 集合/ ^和使 邱⑽； 
Q ， D ^ OC ^ =0. 如果 u ; € Df ， 则 t o n (lj)=0. 换句话说，“停止”发生在时刻 n = 0 . 
而若0^ 则说明对于这样的 u ；， 时间 t 0 n ( cj ) > 1 . 对于所考虑的 

的情形，时间 t 0 a ， ( cj ) = 1. 以下各个阶段的情形类似.在时刻 7 V 观测自然应该停止. 

7.例现在举几个例子. 

例1设序列/ = (/()』，…，炀）是鞅，其中 /o = l . 那么1根据§2定理1的 
系1，对于一切马尔可夫时间 t e m ^ Ef r = l . 因此，在所考虑的情形下 

Vq V = SUP E/ r = 1. 

对于一切 1 $ n 彡 iV ， 函数 < =/„ 和 < = 1. 易见， W = min{0 ( k $ N •• 
fk = Vk } = 0 y 而对于任意 1 < n 彡 iV ， T^ = n. 

于是，鞅序列的最优停时问题的解法，实质上是平凡的：最优停时就是时间 
( cj ) = 0,0； e Q (任何其他时间，如 r ^( uj ) = n,cj \ ^ N 也一样). 

例2设序列 / = (/ o ，/ i ，". Jn ) 是下鞅，则对于仟何7 6 彡 E/at 

(§2 定理 1). 因此，这里的最优停时 t •三 iV . 由于< = E { f N \^ k ) > A(P - ax .), 
故完全可能停时对于某个小于 TV . 然而，在任何情形下停时和停 
时 r * e 7 V 都是最优的.虽然停时 r * = N 有简单的构造，但是停时化〃具有一定的 
优 越性： 它在全部可能的最优停时中是最小的，即如果？也是类贝#中的最优停时， 
贝< ?} = 1 . 

例3设序列/ ：= ( h 、 fu .- Jn ) 是上鞅.那么，对于一切0 < n < 有 
^ U 从而，像鞅的情形一样,最优停时为 t q 〃 = 0. 

所引进的例子相当 简单， 解所考虑的停时的最优性问题，本质上并未用到在定 
理1和定理2中阐述的理论.只用到如下熟知的结果：在对马尔可夫时间作时间变 
换时（见§2)，鞅性，下鞅性和上鞅性的不变性.然而，在一般情形下，寻求价格 
以及最优停时 rf 的问题，可能是相当困难的问题- 

非常重要意义的是，函数 / n 具有如下形式的情形： 

/»肌 ㈣ ， 

其中 X = (X n ) n>0 是某一马尔可夫链.由第八章§9可见，这时求解最优停时问题， 
实质上归结为求解变分不等式，求解瓦 尔德一 贝尔曼 （ A . Wald - R . E . Bellman ) 动 
态规划方程问题. 

在第八章的§9中还将要给出，非平凡例子，在这些例子中，将给出关于马尔可 
夫序列最优停时一系列问题的全解. 
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8. 练习题 

1•设 = sup 是，在证明第3小节的引理时引进的随机变量.证明满 

^€Uo 

足本质上确界定义中的条件 a ) 和 b ). (提 示： 在 a _ Uo 的情形下考虑 Emax ( CM ， 

2. 证明， 1) 随机变量 Uu ;) = tan ^( a ;) (见第3小节引理的证明)， 2) 随机变量 
也满足条件 a ) 和 b ). 

3. 设心，…是独立同分布随机变量序列，其中 E |^,( a ;)| < oo . 考虑最优停时 
问题（在类 OTf = {t : 1彡 r < 00 } 中)： 

= sup E ( max 心 —cr ). 

\ ) 

设 r * = inf{n ^ 1 : ^ A*} y 其中氺是方程 E (^ - A *) = c 的唯一解. 

证明，如果 E { t * < 00} = 1,则在 E ( max ^ r ^( w ) - cr) 存在的所有有限停时 t 
类中，停时 T * 是最优的.同样证明 V - = 4*. 

4. 假设在该题和下题中，有 

= {r : n < r < oc }， 

^°°= sup E / t ， 

= esssupE (/ T |^ n ) ? 

= ini{k ^ n : = f n }. 


假设 


Esup/^ < OG ， 


证明，对于随机变量的极限 

下列命题成立： 

( a ) 如果 T e OTf 停时，则 



n 1 ™ ^ ， 


u n ^E(/ r |^ n ); 
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5 .设 rf e 由上题的论断 （ a ) 和 （ b ) 证明，停时 rf 按如下意义是最优的: 


而 

即 KT = E/ r ,oc . 


esssapE (/ r |^ n ) = E ( f r ^ \^ n ) (P - a . c .), 


SUp E/ r = Ef T oc , 
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§1. 定义和基本性质 (238) 

1. 引言 (238) 

2. 广义马尔可夫链 (238) 

3. 马尔可夫性 （239) 

4. 随机游动 (241) 

5. 广义马尔可夫性 (243) 

6. 数组决定的马尔可夫链 (244) 

7. 马尔可夫链（族） (246) 

8. 柯尔莫戈洛夫-査普曼方程（任意状态空间） (247) 

9. 练习题 (248) 


§2. 推广马尔可夫性和强马尔可夫性 (249) 

1. 推广马尔可夫性 (249) 

2. 强马尔可夫性的另-种推广 (251) 

3. 强马尔可夫性的例 (252) 

4. 柯尔莫戈洛夫-杳普曼方程 (254) 

5. 练习题 (256) 


§3. 马尔可夫链的极限、遍历和平稳槪率分布问题 (256) 

1. 广义马尔可夫性 (256) 

2. 要研究的主要问题 (257) 
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3. 练习题 (258) 


§4. 马尔可夫链的状态按转移槪率矩阵的代数性质分类 (258) 

1. 转移概率矩阵 (258) 

2. 可达状态和可通状态 (259) 

3. 按周期对状态分类 (261) 

4. 不可约马尔可夫链 (262) 

5. 练习题 （264) 

§5. 马尔可夫链的状态按转移概率矩阵的渐近性质分类 (264) 

1. 常返和非常返状态的概念与准则 (264) 

2. 非常返状态 (268) 

3. 常返状态 (269) 

4. 马尔可夫链的状态按转移概率矩阵的渐近性质分类 (269) 

5. 常返和非周期状态下转移概率矩阵的渐近性质 (269) 

6. 状态周期任意的情形 (272) 

7. 非周期马尔可夫链的完全分类 (273) 

8. 有限马尔可夫链 (274) 

9. 练习题 (275) 

§6. 可数马尔可夫链的极限分布、遍历分布和平稳分布 (276) 

1. 极限值)[1[与平稳分布 Q 的联系 (276) 

2. T •稳分布和遍历分布的基本定理 (278) 

3. 定理2的证明 (279) 

4. 定理3的证明 （281) 

5. 定理3的推广 (281) 

6. 练习题 (283) 

§7. 有限马尔可夫链的极限分布、遍历分布和平稳分布 （283) 

1. 有限链转移概率的渐近性质 (283) 

2. 不可约性和非周期性对有限链的意义 (284) 

§8. 作为马尔可夫链的简单随机游动 (284) 

1. 简单随机游动.波利亚 （ G . Polia ) 定理 (284) 

2. 简单随机游动的例 （K cZ d , d = l ) (288) 

3. 利用简单随机游动描绘现实物理过程的示例 (293) 

4. 现实物理过程的示例（更加复杂的情形） (295) 
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5. 关于术语“离散扩散模型”的说明（‘ 295) 

6. 练习题 (296) 


§9. 马尔可夫链的最优停时问题 (296) 


1. 这一节的基本内容 (296) 

2. 一步转移算子 (296) 

3. 最优停时 (297) 

4. 停止区域和继续观测区域 (299) 

5 . 类 职 8°中的最优停时（ 2 的） 

6. 例 (306) 

7. 最优对象的选择问题 (307) 

8. 练习题 (312) 



• 238 • 第八章形成马尔可夫链的随机变置序列 


现代马尔可夫过程论的源泉 .一 方面是，马尔可夫 （ A . A . MapKOB ) 有关“联系为 
链”的试验序列 （1906 年一 1917 年）的 工作； 另一方面是，著名布朗运动的物理现象 
之数学描述的尝试（巴切利耶 [ L . Bachelier ). 1900 年； 爱因斯坦 [ A . Einstein 】， 1905 年). 

邓肯 （ E . 13. ilbIHKMH) 《马尔可夫过程》[ 2 1] 


§1. 定义和基本性质 

1. 引言在第一章§12 中 ，对于有限概率空间，阐述了基于对随机变量 马尔可 
夫相依性 的理解和原理（第一章§12中性质（7))，马尔可夫相依性用来描绘 • 具有无 
后效性系统的 演变.在这一节，对更加一般的概率空间进行相应的研究 • 

马尔可夫理论的基本问题之一，就是研究无后效系统（随时间的发展）的 渐近性 
质.非常值得注意的是，在相当广泛的条件下，这样系统的演变似乎“忘掉了”它初 
始的状态.其状态“趋于稳定”，系统进入“平稳状态”.接下来对用“ 具有可数种状 
态的马尔可夫链”， 详细地描绘这样系统的渐近状态问题.为此，我们需要对 “ 马尔可 
夫链”的状态，按转移概率的代数性质和渐近性质进行分类. 

2. 广义马尔可夫链假设是固定的概率空间，即具有另 
外选定附加构造的概率空间 （ a ^. P ), 而所谓附加构造就是代数 ^ u(n ^ 0) 
的、过 滤结构 （流 ）（ 义 n ) n >0, 其中叉直观上， 多 n 是在时间 n 
之前（包括 71) 获得的“信息”. 

设（£，家）是某一可测空间，是所研究的系统取值 的状态 空间. 由于“技术”的 
原因（例如，为了使随机元素 Xo ( u ;) 和 : r e E 的集合 { o ； •• XoM = x } 属于叉)，我 
们假设 a - 代数罗包含五中 的全部 单点集.(关于这一假设， 亦见下 面的第6小 节). 

在这样的假设下，可测空间 ( E , 爹) 通常称为（所研究系统的）相 空间或状态空 
间. 

定义 1( 广义马尔可夫链）设 ( a ^,(^ n ) n ^ O , P ) 是固定的概率空间，而 
( E .^) 是相空间. 

定义在空间上、取值于五的 义 I 莕- 可测随机元= 
X n M ， n >0 ? 的序列 X = (X n ) n ^ 称为 由马尔可夫相依性联系的广义随机变量序 
列（马尔可夫链)， 如果对于任意 n 彡 0和 B e 豕 满足如下广 义马尔可夫性 

P ( X n+l € B \^ n )( u ：) = P { X n+l £ D \ X n ( u ;)) ( P - a . c .). ⑴ 

①广义马尔可夫性 (wide - sense Markov proberty) 亦称弱马尔可夫性 (weak Markov proberty). 

—— 译者 
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如果 =a(X 0 ,X ir -^X n ) 是由随机变量 , X n 生成的 (7- 代数， 
则由于 且； ^为 ^1- 可测，故由 （1) 式得 强马尔可夫性 （或简 称马尔 
可夫 性)： 

P ( X n+1 G B\^)(u) = P ( X n+1 e B\X n (u;)) ( P - ax .). (2) 

为直观计（对照第一章§12)，强马尔可夫性常表 示为： 

P(X n+1 e B|X 0 (o;) ，… ，忍 M) = P(X n ^ € B\X n (u)) (P - ax.). (3) 

受由 （ 1) 式引出的强马尔可夫性 （ 2) 的启发，可见在事先不考虑 a- 代数流 
(^n)n^O 的情况下，引进马尔可夫相依性的概念较为适宜. 

定义2 (马尔可夫链）设 （ a ，， P ) 是概率空间，而 (E.^) 是相 空间. 取值于 
五且 平I蕙一 可测随机元= X h ( lj ) 序列 ，X = (X n ) n ^ 称 为由马尔可夫相依性 
联系的广义随机变量序列（马尔可夫 链)，如果对于任意 n > 0和 B e 强马尔可 
夫性 （2) 成立. 

注在一开始引进的过滤概率空间上，在此空间上根据各种不同的“信息流” 
(^ n ) n ^O 研究系统的性质.在此空间上定义的广义马尔可夫链，在许多问题中是有 
效的，例如，可能出现这样的情况：对于“二维”过程 (X^Y) = (X ny Y n ) n> 0, 其第一 • 
个分量 X = ( X n ) n ^ o 按定义 （2) 不是马尔可夫过程，然而按定义 （1) 是马尔可夫过 
程，其中少 

在介绍 马尔可夫链的 初等理论时，通常并不引进代数流 (^ n ) n ^ O , 而且以 
定义2作为基础.这一章的内容就是讲马尔可夫链的初等理论. 

3. 马尔可夫性在由序列 X = (X n ) n ^ 0 描绘的系统状态的演变中，马尔可夫 
性的特征是“无后效性”.在有限空间 Q 的情形下，在第一章§12中，表示为性质 

P ( J | GX ) = P ( J | X ), (4) 

其中 J ——将来， G ——过去， X ——现在.这在第一章§12中曾经指出，马尔可 
夫系统还具有如下性质： 

P ( GJ | X ) = P ( G | X ) P ( J | X ), (5) 

表示在“ 现在” 固定的情形下，“过去”和“将来”独立- 

在一般倩形下，下面的定理，（在定义2意义上）给出了马尔可夫性的各种不同 
表述，并指出性质⑹和⑺是性质⑷和 （5) 的类似，使用了如下记号： 

^"[0, n ) = 义1，… n )， 

fj^ ，。 o) = An+i ， …)， 

^(n,oo) = ^(^n-f-1? Xn+2, … ）• 
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定理 1 马尔 可夫性 （2)， 等价于如下两条性质中的任意 一条： 

1) 对于 n > 0和任意“将来的”事件 J €义 [ ooj ， 有 

P ( J |^ iL])M = P ( J | X n M ) ( P - a.c .)， ⑹ 

2) 对于 n > 1 以及任意“将来的”事件 J €和“过去的”事件 G € 

，有 

P ( G 3\ X n ( u ;)) - P(G|X n (u;))P(J|X n (u；)) (P - a.c.). (7) 

证明 （ a ) 我们首先证明性质 （6) 和 （7) 的等价性. 

(6) =>(7). (P — a.c.) 有 

P(G|X n (u;))P(J|X n (a;)) = E(/ G [X n (^))E(/j|X n (u；)) 

= E { I G E ( I 3 \ X n ( u ;)\ X n ( u ;))} = Ei / G ^/ jl ^,)^)!^^)} 

=E{/ G /j|X n (a;)} = P ( G 3\ X n ( u )). 

(7) =>(6). 需要证明，对于任意集合叉 jLl ， 有 

E[/ c P(J|X n )] = E[/ c P(J|^J, nl )]. (60 

为此,首先考虑这样集合的特殊情形，即集合 GX ， 其中 G e 和 X € a ( X n ), 

并且证明这时由 （7) 式可得 （6') 式. 

事实上， 

E[/ GX P(J|X n )] = E[/ G / x E(J|X n )] = E{/ x E[/ G E(/j|X n )|X n ]} 

= E { I x E ( I G \ X n ) E ( Ij \ X n )} = E{/ x P(G|X n )P(J|X n )} 

— E{/ x P(GJ|X n )} = P(GXJ) = E[/ G xP(J|^{,n])]> ⑻ 

即对于形如 GX 的集合 C ，（6') 式成立，其中 G € 和 X € a ( X n ). 根据 

“单调类”的性质（见第二章§2)，由此可见，对于任意集合 C nl ， 性质 （60 成 

立. 因为函数 P ( J | D 为厂可测，所以由（以）式可见. P ( J |^ n ) 是条件概率 

的变式，于是，性质⑹式成立. 

( b ) 现在证明性质 （2) 和 （6) 等价，因此由己证明的，可见性质 （2) 和 （7) 等价. 
⑹令 (2) 显然. 现在证明 ⑺冷⑹. 仍然利用“单调类”的性质证明之 • 

式⑹中集合 J 是 a -代数 ^ f ni00) = ^ +1 ,00中的子集，而叉 JUoo ) 是代 

数 U ^ In + l ^/ c ] 诱导的⑦-代数，其中，…，义 n +/0. 因此， 

自&"首 先对于 a - 代数中的集合 J 证明性质 （6). 

我们用归纳法来 证明. 假如 A : = 1，则 ^ J +1 , n+Ij = 且 （6) 式恰好是 

(2) 式，故命题 成立. 
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现在假设 （6) 式对于某个 fc 彡1成立，我们证明⑹式对于 A : + 1成立. 

为此取形如的集合 J e ， f ； +1 ， n + fe +11 ，其中 J 1 e 多和 
J 2 G a ( X n ^ { ). 那么，根据归纳法的假设 ， （P - at ) 有 


= 卜 E [ I 3 i E ( I 3 2\ X n + k )\ X n ) 

=E[/jiE(/j2|^[ n>n+fc ])|X n ] = E[E(/ji /j2 |^[ njn+fc ] )|X n j 
=E[/jl/ j2 |X n ]= P(J l H J 2 |^n) = P(J|^ n ). ⑼ 

这样，对形如 J = J 1 + J 2 的集合 j e 叉 ( +1 ， n + ㈣ ，其中 J 1 e 叉 f„ +1 ， n 州和 
J 2 e a(X n+k+l ). 已经证明了性质 （ 9). 由此可见（练习题 la), 性质⑼对于任意集合 

Je ^ +1 . n+ , + 1] 成立.因而（练习题 1b )， 性质⑼对于任意集合 .T € p ^jn + i,n +fc | 
代数也成立.于是，由此同样地可见（练习题 1C )， 性质 （9) 对于 a - im 

G (0 ’A+l ， n+fcj) = ’iloo )， 


也成立. 口 

注这一证明的论据是适当集合原理的应用（首先对于“简单”构造的集合进 
行证明)，然后利用单调类的结果（第二章 §2). 以后，这一证明方法还将不止一次地 
使用（例如，见定理2和定理3的证明、特别由这些定理的证明，可以得到以上定理 
1的证明中，引用练习题 la , lb ， lc 的地方). 

4. 随机游动马尔可夫链的经典例子是随机游动 X = ( X n ) n ^ 0 , 其中 


X n = X 0 4- 5 n , n>l, (10) 

而 s n =6 +••• + &, 且定义在概率空间 （ a ， P ) 上的随机变童為, Ci , 匕…相 
互独立. 

定理2 假设，0= a { X 0 )^n = 7(义0,6, … ，《 n)，n > 1;而 （ n，/，(f „)00, 
P ) 是过滤概率空间，且所研究的序列 x = ( x n ) n > 0 是该空间上的（广义及狭义）马 
尔可 夫链： 对于任意 n 彡0和 Be 义 ( R )， 


并且 

其中 

而 


P ( X n+ i G B \^ n )( uj ) = P ( X n ^ x € B [ X n ( ij )) ( P - a . c .)， （11) 

P (^ n+1 € B\x n (u)) = P n+1 (B - x n {u))) ( P - a . c .)， （12) 

P n ^( A ) = P { i n ^ eA } 1 (13) 

B - X n ( o ;) = {?/ : y -f x n (uj) e B }, Be 义 ( R ). 
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证明我们同时证明 （ 11) 式和 （ 12) 式.对于离散型概率空间的情形，在第一•章 
§12 中曾经作过类似的证明.初看来，似乎这里的证明也同样简单.然而实际上，我 
们通过所作证明仍然可以体会到“什么是证明”. 

考虑集合>1 e { X 0 e B 0 ，《i e 氏，…， 《n € Bn ), 其中玖 e v ^( R),i = 0，1，…， n . 
根据条件概率 P ( X n+1 € 的定义（见第二章 § 7 ) 

j ' P ( X n+1 G ^|^ n )( u ;) P ( da ;) = ^ / { x . + 1 6 B } MP ( du ；) 

= P{Xo € Bo ,^\ ^ Bi , • . •e B n ， Xn+1 6 B } 

=J P n ^.\(B — [xo + X\ + . • . + ■ * * 尸 n(d.T n ) 

J BnX i?i x … X 

=J^P 1l+l (B - X n (u;))P(du). 

这样，对于中形如 4 = {Xoe ，…，心的集合，有 

I P{X n+l G B\^ tl )(u)P(du;) = Pn+l(B- X n ( u ;)) P ( du ;). 

显然，上面的集合 4 的集系是 7 T -系 ㈨ 且若々€ 和 A 2 € j n ， 
则 A { C \ A 2 e ^ n ; 见第二章 §‘ 2 定义 2 ).其次，以幺表示一切使（ I 5 )式成立的集 
合 A e 的全体. 

现在证明分是 A - 系（见第二章§2定义 2). 显然 n €又，即满足上述定义的 
性质 （ A a ). 由于勒贝格积分的可加性，由上述定义也可得性质 （ A b ). 由于勒贝格积分 
的单调收敛定理（见第二章§6)，由 A - 系的定义可以得到第三条性质 （ Ac )- 

从而，又是 A - 系.运用第二章§2定理2的命题 c )， 可得 a (^ n ) g 又•注意 
到 ^ Mn ) =从而性质 （15) 对于4 集合也成立. 

这样，注意到 Pn ^( B ~ X n ( U ；)) 作为 U ； 的函数-可测（练习题 2 ),故（根据 

条件概率的定义）由 （ 15 )， 可见 P n+ i(B- x n ( u )) 是条件概率 P(u B \ sr n )( u ) 

的变式.最后，由条件数学期望的“望远性”性质（见第二章§ 7 性质 H *) 可见， 
(P - a . c .) 有 

P(X n+ i e B\x n )(u；) = E [/ {x ri+ i€B}l^n](^) = E{E[(/{X n+ 1 €B} \^n)\^n]}(^) 

= E[P n+1 (B- x n )\ x n ( cj )] = Pn+i(B- X n (ij)). (16) 

于是，两条性质 （ 11) 和 （ 12) 得证. 口 

注性质 （ 11) 和 （ 12) 的正确性，或许也可以直接由第二章§ 2 引理 3 推出（， 
习题 3). 我们对这些“几乎显然”的性质作了详细的证明，在一定意义上是为了演示 
类似命题的证明技术，证明基于适 当集合 原理以 及单调 类的有关结果 • 


(14) 


(15) 


9 


§1. 定义和基本性质 


• 243 • 


5. 广义马尔可夫性考虑马尔可夫性 （ 1). 如果 ( E .^) 是博雷尔空间，则由第 
二章§7定理5可见，对于每一个 n 彡0,存在正则条件分布 户 „ + 1 ( 0 ： ; 万)， 使 （ P-a.c.) 

有 

P(X n+l e B\X n (u；)) = P n+1 (X n (u;);B), (17) 

其中具有如下性质（见第二章§7定义 7): 

( a ) 对于每一个 . T ，集函数 P n + i ( X n ； .) 是空间 ( E ^) 上的 测度； 

( b ) 对于每一个 B 函数仏 +1 (.;5)为豕-可测. 

函数又= P n ( x ; B ), n ^ l , 称做转移函数（亦称马尔可夫核) • 

特别重要的是下面的情形：这些转移函数全相等 A =灼= • • • ， 确切地说,对这 
些条件概率 P ( X n+1 e D\X n (u;)), n > 0, 存在同一个 正则条件分布 的变式 P(x; B), 
使 （P - a.c.) 对于一切 n > Q，B e 雾 ，有 

P ( X n+1 e B\X n (uj)) = P(X n (ij); B), (18) 

如果变式 P = P ( x ; /?) 存在（那么可以认为对于一切 n 彡0, =尸)，则马尔可 

夫链称做（对时间）齐次的，其转移函数为 P ( x ; B ), xeE , Be ^. 

马尔可夫链的齐次性直观意义很明显：相应系统的运动在如下意义上均勾地进 
行，控制系统变化的概率机制在所有时间 n > 0都保持不变(在动态系统理论中，这 
种性质等同于保守性). 

除转移概率 P U P 2 ，… 之外，而对于齐次马尔可夫链.除转移概率 P 之外，马尔 
可夫链的重要特征是初始分布 7 T = 7 T ( B )， Be 豕， 即由等式 7 T (召）= P{Xo eB} 1 Be 
g 7 , 所决定的概率分布. 

数组㈨ 巧，/^，…） 完全决定序列X = (X n ) n> 0 的概率性质， 因为该序列的一 
切有限维分布决定于如下公式： 

P{X 0 €B} = 7r(B), B 

而对于任意 n 彡1和 B e ^( E n +1 )(= 家 71+1 =雾 ⑧.•.⑭ $(n + 1) 次)，有 

P {( X 0 , X ir - , x n ) eB } 

=/ Ib{x 0 , ^ 1 , * • * , x n )7T(dx 0 )P 1 (x 0 , dx,) P n (x„_ 1 ,drr„). (19) 

JEx … x E 

% 

事实上，首先考虑形如 B = 执 X … x 的集合 R 那么，当 n = 1时，由全概 
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•， X n € B n } 

l} HP(X n € B n \X 0 (u ； ) r - 人 》 )P(du;) 
i} (u ； )P(X n e B n \x n ^(u ； ))P(du；) 

“(To^l ， … ，工 n - 1) 

dxi ， • • • ， X n ^\ 6 dx n } 


= / x Z?i x … x S„_i x ( 尤 0, 工 1 ， . . . ， $n -1 ，工 n) 

JEx-xE 

xP n (dx n ;x n _i)P n -i(dx n -i ； x n _ 2 ) •••Pi(dxi ； x 0 )7r(dx 0 ). 

这样，在集合 13 为 B = Bw . xB n 情形下，所得结果恰好为 （19) 式.对于集合 
Be 的一般情形，可以用与定理2证明中类似地方的方法实现. 

基于 单调类 的结果（见第二章 §2), 由性质 （19) 可以导出 （练 习题4)，对于任意 
有界 j (£ n+1 ) - 可测函数 h = •• - ， Xn )， 有 

Eh ( Xo . X u -- , X n ) 

- / /i(x 0 ,xi,- • - ,x n )7r(dx 0 )Pi(dxi ； x 0 ) - • * P n (dx n ; x n _i). (20) 

Je ^ 1 

6. 数组 ( n . PuP ^ r -) 决定的马尔可夫链对于（广义或狭义）马尔可夫链， 
利用 （19) 式，根据其初始分布 7 T = TT ( B ), 其中 TT ( B ) = P{Xo e B}，S e 爹，以 
及转移概率 P n ( x , D) } n ^ l,x G E,B € 就可以完整地建立任意随机变量组 
A ， X 2 , …， X n (n 彡 1) 的分布律 Law (為，不 ，… , X n ). 

我们现在以完全给定的数组 （I A ， P 2 , • • •） 为基础，调换关于马尔可夫链的定义 
全部观点. 从数组 （7 T ， 尸^巧，.…）出发，把其中 7 T 的概率意义理解为系 统初始 状态的 


率公式（见第二章 §7(5) 式) 



fi 


PiXoeBo.X^B,} 


^{Xu€B„}(a;)(^)P(^l ^ Bi|X 0 (u ； ))P(du；) 

/b 0 (a ： o)-Pi(Bi ； x 0 )7r(dxo) 



n 



E 



iBnxBx (x 0 ,xi)Pi(do ； i ； Xo)7r((lxo) 


ExE 


下面用归纳法 证明: 
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概率分布，而把满足第5小节中定义的性 质⑷和 （ b ) 的函数， P n+1 = P n +1 ( x ? S ), 
n > 0,当 作转移概率， 即系统在时间 n 处于状态: r, 在时间 n + 1处于集合 B e 落 
的概率.自然，假如给定的是数组 （ Tr ，^， 巧， •••)，就产生一个 问题： 它一般是否对应 
着某一马尔可 夫链， 而且以给定的 tt 为其初始分布，以给定的函数为其 
转移概率？ 

对这一问题的答案是“正确”.实际上，至少对于的 E^=U d 情形（见第二章§9 
的定理1及其系 3), 答案包含在柯尔莫戈洛夫定 理中； 对于 任意可 测空间（五,$)的 
情形.包含在 I . 图尔恰 （ I . TXilcea ) 定理中（见第二章§9的定理 2). 

按照这些定理证明， 我 们首先定义可 测空间 ⑴，，)：设 = 

其中 = _ ExEx … ，义 (五°°) ⑭…； 换句话说，把“点” u ; = ( x 0 ^ i ,--0 

视为基本事件，其中 A 

设，„ ，…我们以“典则”方式定义 Xdu ；) = 

x n 的值:若 CJ =(抑，々，•••)，则设 x n (uj) = x n . 

I . 图尔恰 定理： 对于 任意可 测空间 （尽 ②）（其中也包括所考虑的相空间)，在 
⑴，，） 上存在概率测度 Pr ，使 

P n {x 0 e 3) = ^8), Be 爹， (21) 

而对于一切 n 彡1，其有限维分布为 

P 7 r {( X 0 , X 1> ..., X n )€ B } 

=/ 7r(dx 0 ) / Pi(x 0 ;da ： i) ••- / /b(x 0 , •• - f x n )P n (x n ^i ； dx n ). (22) 

J E J E JE 

定理 3 关于（在 I . 图尔恰定理中）引进的测度 P w , 典则给定的随机变 量序列 
X = ( X n ) n ^ (在定义2的意义上）是马尔可夫序列. 

证明需要证明对于 n 彡0，_6 € $， （ Ptt - a . c .) 有 

P .( x n+1 e B|， n )M = PAXn^-i e B | X n ( u ；)), (23) 

而且，这时对于 n 彡 0, (P - a . c .) 有 

Pn(X n+l e B\x n {u)) = P n ( X n ( u ;);5). (24) 

仍然利用适 当集合 原理和 单调类 的结果（第二章 §2) 进行证明. 

像前面的作法一样，作为适当集合，考虑“简单”构造的集合>1 € 3 T n 、 其中 4 
具有如下 形式： 


A — {uj : Xo(u;) G Bo, … ， X n (oj) € B n }, 
而 e 2T,t = 0,1,• • • ,n, 并设 B 6 
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那么，由于测度 P # 的构造（见 （22) 式)，有 




’ ^{A% l + iGB}(^ ， )I > 7r(du；) = Ptt{Ao € B 。， …, X n € B ny X n + i E B] 

A 

f 7r(dxo) [ Pi(xo ； d.Ti)-*- f P n (x n -i]dx n ) [ P n+1 (x n :d ： r n+1 ) 

B ( , JB l JB 7 , Jb 

f Pn^(X n (u;) ] B)PAdu；). 


(25) 


现在通过像定理 2 的证明类似的讨论（对于集合4 见性质 （15) 的证 


明)，可见这里性质 （25) 对于集合 Ae ^ n 成立，即对于形如 A = { u ;: ( Xo ( uJ ) r - , 
x n {u)) e C } 的集合 4 e 义 n 成立，其中 c e j (£ n+1 ). 

由于条件概率的定义（第二章 §7)， 可见 


/ / { X „ +1 € B }(^) PTr ( du ；)- / € B |^ n )( u ；) P x ( du ；), (26) 

J A JA 

而且函数 PwOMu ;);!?) 为可测，故由 （25) 式和条件数学期望的“望远”性 
质（见第二章§7第4小节性质 H *) 可见，关系式 （23) 和 （24) 成立. □ 

7. 马尔可夫链（族）上一节证明了，与每一个给定的数组汴，巧 ，巧, •••）， 有一 
个马尔可夫链与之相联系（为了直观，记作= Un , P .) n ^ o ), 并且以 tt 为 其初始 
分布' 而以 P U P 2 , …为其转 移概率 （即满足性质(21)， （23) 和 （24) 的链) • 

在初始时间 n = 0,根据分布 7 T 随机地“抽签决定”初始状态的值.例如，结果 
Xo 的值等于: r ， 则系统在下一时间按照分布 Pl (-； x ), 系统自该状态转移到某个状态 

/to3r/tat 

Xi , 寺寺 • 

这样，初始分布 ； r 的作用仅仅表现在时间 n = 0,而后系统的发展就决定于转移 
概率 P u P 2 r - 因此,假如对于两个初始分布^和 tt 2 , 相应“抽签”的结果为同一状 
态 x , 那么系统的发展（在概率意义上）将是一样的，都仅决定于转移概率 Pi , P 2 ,- - 
亦可将这一情况表示如下. 

仍以 ( E 多) 表示相 空间. 假设以表示对应于如下情况的分布分布 tt 
集中在点 x ， 而 ir ( dy ) = 4(办)，即 tt ({ x }) = 1，其中 { x } 是属于 (7 - 代数爹的单点 
集. 

那么，由性质 （22) 可见（练习题4)，对于每一个 e ^( E ^) 和 x €五，（对于每 
—个 tt ) 概率是条件概率 PAA \ X 0 = x ) 的变式，即 h - ax •有 


P w ( yt|^To =工）= P X { A ). 


(27) 


对于每一个 x €芯，概率 Px (*) 完全决定于转移概率 （ A , …） 组. 

于是，假如基本着眼点是系统对转移概率（巧，巧，…）的依赖关系，则只需利用 
概率 P x (.), x € E , 而且如果需要得到概率 P .(-), 则只需进行简单的积分运算： 

PAA ) = [ P x ㈤ 兀 ㈣ )， A € (28) 
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这些思路导致如下 情形： “马尔可夫过程的一般理论”中（见 [21]), 对于这里研 
究的离散时间的情形,认为基本研究对象并不是哪个具体的马尔可夫链，而是马尔可 
夫链族 ； P = ( x n , P x ) n ^ xeE . (不过,通常不提“马尔可夫链族”，仍然简称“马尔 
可夫链”，并且通常使用记号“ x = ( x n , J ^, P X )”， 而不是“ X 1 = { X n , p x ) n ^xe 
E \) 

需要强调，这些论述都假设，是用“典则” 方法 建立的 链：以 （£；〜， 篆 做 ( a ，)， 
其中家 °°= 寥 0 雾③ …而若 u ; = (xo,x 1? ...), 则一切随机变量 x n (u;) 定义为 
X n ( u ；) = x n . 这样，在； P = ( X n , P x ) 中只有依赖于 a ：， 而不假设本身的值 
对 : r 的任何特别的依赖条件，在这种情况下，按测度 h 轨道 ( x n ) n ^ o 自动从点 x 
“开始”，即 P x { X 0 = x } = l . 

8. 柯尔莫戈洛夫- 查普曼方程（任意状态空间）对于有限马尔可夫链的情形 

(第 一章§12)，主要注意力放在，利用转移概率;= P ( X n = j \ X 0 = i ) 的研究,分析 
这种链的行为和性质方面，证明了？ 4 n> 满足柯尔莫戈洛夫-查普曼 （ D . G . Chapman ) 
方程（见第一章§12的 （13) 式)，并且由此同样的可以得到柯尔莫戈洛夫前向方程和 
后向方程（第一章§12的 （15) 和 （16) 式). 

我们现在讨论，在具有任意相空间 ( E 方) 的情形下，柯尔莫戈洛夫_杳普曼方 
程正确性的问题.但是只局限于齐次链的情形，即=巧=…= P 的情形. 

在这种情形下，由 （22) 式，有 



P?r{^2 ^ ^2\Xq = X} = P ； r{X2 € 丑 2 )(开 _ a.C.), 


其中概率 P x { X 2 e B 2 } 有简单的 含义： 系统由在时间 n = 0状态: c ， 于时间 n = 2 
转移到状态集合的概率，即经两步转移的概率 • 

记 P ^{ x ; B n ) = P x { X n € Bn ) 是经 n 步转移的概率.那么，由于所考虑的链的 
齐性，有 P ^\ x \ B x ) = P ( x ; S !), 从而由 （ 31) 式,可见 （ 7T - a.c.) 有 

P^ix^dx^P^ixuB), 



(32) 
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其中 Be 廖. 

类似地可以证明（练习题 5), 对于任意 n 彡 0， m 彡0, （ TT - ax .) 有 

P ( n + m )( x ; B )= / P { n ) ( x ; dy ) P { m ) ( y ; B ). (33) 

Je 


该式就是著名的 


柯尔莫戈洛夫-查普曼方程， 

其直观含义十分清楚：为计算系统“自点 x G £经过 m + n 步转移到集合 B e $中 
的概率 p(n+m) (：r;5) ^ 需要将“自点 Z 经过 n 步转移到点 2/ € £ :的 4 无穷小’区域 
dy 概率” P ^ ix - dy ), 乘以“自点 y 经过 m 步转移到集合 S 的概率”，然后对可能的 
呻 间点” 2/积分. 

柯尔莫戈洛夫査普曼方程 (33), 把不同转移次数的概率相 联系. 应该注意，该 
式仅仅是精确到 “ 7 T - 几乎处处” 成立. 特别，由此可见 ， （33) 式并不是对于一切 
xeE 都成立的关系式.不应当觉得这是怪异的，因为我们在前面不止一次地处理 
选择条件概率各种不同变式（异说）的问题. 一 般不能指望，所研究的性质“对于这 
些变式（关于 0：) 恒成立”，而事实上“仅仅 7 T - 几乎必然（处处）成立” • 

然而，可以指出这样一些变式，使柯尔莫戈洛夫-查普曼方程（ 33 )已经对于一 
切 ： r €五成立. 

这由如下命题（见练习题 6) 可以得到. 

设“转移概率” pM ( x ; B ) 定 义为： 

P { x ) { x \ B ) = P(x;B) ? 

而对于 n > 1， 

P m ( x ; B )= I P ( x ] dy ) P ^ l ) ( y ; B ). 

Je 

那么， 

( i ) 对每一个给定的 x , P ^( x ; D ), n 彡1，是罗上的正则条件概率； 

( ii ) P ^( x ; B ) 等于 P x { X n € B }, 从而 P ^( x \ B ) ( 7 T - a . c .) 是条件概率 

P n ( X n eB \ X 0 = x ) 的 变式； 

( iii ) 对于这样定义的函数 P ^( x ; B),n > 1,柯尔莫戈洛夫-査普曼方程 （33) 
对于一切 x G E 恒成立. 

9. 练习题 

1. 证明在定理1的证明中提到的问题 la ， lb ， lc 的命题， 

2. 证明在定理2中的函数 P n + i ( B - X n ( u ；)) 对 u ; 是可测的 • 

3. 证明第二章§2引理3的命题中性质 （11) 和 (12). 

4. 证明性质 （20) 和 （27). 


推广马尔可夫性和强马尔可夫性 


5. 证明关系式 (33). 

6. 证明第8小节中的命题⑴， （ ii ), ( iii ). 

7. 问由马尔可夫性 （3) 是否可以导出如下 性质： 

P(X n+1 € B\Xq € X[ G ••- 1 X n 6 B n ) — P(X n +i e B\X n 6 D n )^ 

其中 B 0 , 仏… ，比和 I ? 是属于 $ 的集合，而 P { X 0 € B 0 , X x € B !,... , X n e 
B n }>0. 

§2. 推广马尔可夫性和强马尔可夫性 

1. 推广马尔可夫性这一节主要研究齐次马尔可夫链族； ^ = 尺) n >0, T € 
E , 而链是“典则地”定义在坐标空间 ( Q ^) = ( E -^) 上并且决定于转移函数 

P { x ; B),xe E，B 

在 （ a 义）上定义推移算子 O n : Q-^n (对照第五章 §1), 对状态 a ; = (: to , X 〗，…）, 
设 

^n(^) = (x n> X n ^i, • • . )• 

如果 /y = //⑼ 是 3 T — 可测函数，则以 HoO n 表示由等式 

( HoO n )( u ;) = H ( O n ( u ;)) (1) 

定义的函数 {H o 0 n )( u ). 从而，如果 a ; = ( xo ^ i ,* • - ) 和 // = //( a ： o , Xi , … ）， 贝 lj 

(H o 0 n )( xo y xi y --) = i /( x n , x n + i >-**) - 

下面的定理实质上是 §1 中的 （6) 应用于现在考虑的齐次马尔可夫链族命题的 
重新表述. 

定理1 设 ； P = ( X n , P x ) n ^x e £是由转移函數 P ( x ; B) y x e E，B €豕 
生成的齐次马尔可夫链族.假设对于 S e ^(£ n +1 ) 和 n 彡0,由§1中的公式 
(22) 由 P 决定测度 A 的值 P x {( X 0 , A l ? ..., X n ) € B }， 其中 n ( c \ y ) = 5( x )( dy )， 而 
P \ = — ^ P . 

那么，对于任意初始分布 7 T ， 任何 n >0 以及任意有界（或非负）可測函数 
H = 有如下的推广马尔可夫性①： 

E〆 // = E Xr “ w) // ( P ,- a . c .). ⑵ 

注虽然所使用记号自身“无须解释”，然而我们还是指出 Er 是按测度 

P .(0 = / P x (- Mdx ) 

J E 

①这甲将®介绍的广义马尔可夫性 ((>6 of>meHHOn MapKOBCKOT rBO ^ TTBo ) 与般丨义马尔可夫 
性有所不同，因此我们将其译为“推广马尔可夫性”，以示 K 別，一译者 
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求平均，而 E XiiM H 应该按如下的方式 理解： 求数学期望 E X H (即按测度 Pi 求 
M H 平均)，而然后向此式（记作 0(x)) 中 x 的位置“代入”随机变量即 
E XnM H = rP ( X n ( u ;)). (注意， E X H 是 x 的爹一可测函数(练习题1)，故 E Xn(uj) H 
是随机变量，即可测函数).定理的证明仍然利用适当集合与函数原理，然后 
运用单调类的结果. 

为证明性质（2)，我们需要验证对属 于少^ = a ( xo . x u -^ x n ) 的任意集合>1， 
有 

/ 〜 ilMPdda;): / (E XuM H)P n (du;\ (3) 

Ja Ja 

或者对于更加紧凑的形式，有 

AzEJEi/ZM)， （4) 

其中 EA ^\ A ) 表示 E“04) 适当集合与函数原理（见第二章§6第 2 小节). 

根据适 当集合原理， 我们考虑形如 A = { lj : Xo € Bo,-- ,^n € B n }(Bi € 

的“简单”构成集合4考虑函数// = ,x m )(m^0) (更确切地说，设// 

是可测函数).那么，性质 （4) 有如下 形式： 

E ^[ i /( X n , X n + i , •• - , X n + m )] A ] = [ Ex „ H (-^o ? T * * *， D ; 斗 ⑻ 


利用 §1 中的表示（ 22 )，可得 


K n \H(Xm X n _|_i, • • • , Xn^m); A] = E 7 r [/^(Xo, • • • , X n )H(X n , • • • , X n ^ m )\ 

= / IA (*^0? ' * * i *^n)^ (•^n» * * * ，工 n+m) 兀 (dlO) 尸 ( 工 0; dl’i) . . • 尸 (Tn+m—1; dx n + m ) 

J En + fti-tl 

= / I A (xor- ,x n )n(dxo)P{xo\dxi) - - - P(x n -i ； dx n ) 

Jb 9 ^ 1 

_ 

■ 

X I H (x n , • • • ， Tn 十 m) 戶 ($n; dx n +i) • ♦ • 尸 (Xn+nx 一 i; dXn+m) 
JE m 

= / / a(x 0 , ••- ,x n )7r(dxo)P(xo ； dxi) - - - P(x n -i ； dx n ) 

JE u + l 

x / //(x 0 , … ， x m )P x (d ： Ti ， … ， dx m ) 

JE m - 

= E 7 r [E XlI i/(x 0 ,x 1 ,... ， x m )M ]， 


其中 Px(dxi， … ，dx m ) = P(x 0 ；dxi)P(xi；dx 2 ) - - - P(x m ^i；dx m )- 

这样，对形如 A = {lj : x 0 e Bor - >x n G B n } 的集合 4 和函数丑 = 
H ( x 0 , x ir - ,x m ) ，性质 （5) 得证.集合 A € 的一般情形（对于固定的 m ) 的证 
明，同§1中定理2的证明是一 样的. 

只剩下证明，己证明的性质对于一切，(= 豕°°)- 可测有界函数只= 
i/(Xo,X!,..*) 也仍然成立. 
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为证明这一事实，只需证明，如果4 则对于函数 

E . [ H ( X ny X n+U … ）; 涮= [ E x „ H ( X 0 , X lr -)；Al (6) 


性质 （5) 成立. 

为了利用适当集合与函数原理（第二章§2)，以％表示满足性质 （5) 的一切有 
界叉-可测函数，…）的全体. 

设 J 是形如 An = { o ; •• xoeBor - , x m e B m } 的集合的全体，其中氏 e = 
0，1，…, m ( m ) ^ 0. 显然，这一集系 J 是 ^ ) 中集合的 7 T - 系. 

现在考虑第二章§2中定理3的条件. 

条件 （/ tl ) 成立，因为当4 e J 时，根据上面己证明的结果有 I A e ^ (需要 
在 （5) 式中设 //( x 0 , •• - , x m ) = I A {xor - , x m )). 由勒贝格积分的可加性，可得条件 
( ft 2 ), 而由勒贝格积分中的单调收敛定理，可以得到现在（/ 13 ). 

根据上述定理 3( 第二章§2)，％包含一切关于 a - 代数 a ( J ) 的可测函数，而 
根据定义 ct ( J ) 就是 a - 代数爹= J 8{ E ^) (见第二章§2的第4和第8小节). 

2 . 强马尔可夫性的另一种推广现在考虑马尔可夫性的第二种推广，即将“时 
间 n ” 换成“随机时间 t ”的强 马尔可夫性.（这 一节开 始引进的所有前提条件保持 
不变，例如， ( f 2^) - 

以 t = t ( uj ) 表示 有限随机变量 t ( u ；)， 且对于每一个 n ^ O , 满足 

{u ； : r(u；) = n} 6 • 

按照第七章§1引进的术语（见定义 3), 这样的随机变量称做（有限）马尔可夫时间 
或停止时间. 

将停时 r 与 CT - 代数流 (^) n ^ O ： 

^ = { Ae : Af]{r = n } e ^ 对于一切 n 彡0}， 

相联系，其中= cr ( U ^ n ) 是在“随机区间” [0, r ] 上观测到的事件的 a - 代数. 

定理2 设定理1中提出的全部条件成立，而 T = T ( W ) 是有限马尔可夫 时间. 
那么，有如下强马尔可夫性： 

E〆// 。 0 T \^)=： E Xr H ax.). ⑺ 

在进行证明之前，首先关于应当如何理解 E Xr H 和 Hoe ” 作一些 说明. 

记 tP ( x ) = E x H . (在第1小节己经指出，0⑻是豕-可测函数 .） 把理解为 
少 ( Xr ) = ip ( X rM ( u ;)) 的值.关于 ( Hoe T )( co) y 应理解为 ( Ho 0 rM )( u :) = H ( e r ^)( u )). 
证明设集合4 e ， T . 像定理1 一样，为证明⑺式，需要证明 


E ir {Hoe r ;A) = E lr (E Xr H;A). 


⑻ 
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等式的左侧为 

oo 

EAHoOr ； A) = Y, ^(HoO t ;AC\ {r = n}) 

n =0 

oc 

= Y, E -( Ho °n ； Ar\{r = n}). (9) 

n =0 

由 （8) 式的右侧，得 

OO 

EA^x r H; A) = Y, Ar\{r = n}). ( 10 ) 

n =0 

事件 Af]{r = n}€ ^ n V . 由于 （4) 式， （9) 式和 （10) 式的右侧相等，可见强马尔可夫 
性 （7) 得证. □ 

系设函数 //(x 0 ，Xi，...） = I A ( x 0 , xi r -) y 而乂 = {cj : (x 0 ,xi,---) e B},D G 
=^ , (£； 00 ), 則由⑺式得强马尔可夫性的如下常用形式： 

P .{^: ( X T , X r+1 ，•••）€ B \ X 0l X ir -, X T } 

= X lr -) eB } ( P , - a . c .). (11) 

注 1 如果分析一下强马尔可夫性 （7) 式的证明，就会注意到，实际上有如下 
性质. 

设对于任意 n > 0,定义在 n = E ㈤ 上的实函数//„ = 为 3 T - 可测的 

(^ = r 3 "), 并且一致有界 （BP \ H n ( u ;)\^ c , n ^0^€ Q ), 那么，对于每一个有限马 
尔可夫时间 t = < oc，cj € 12)，有如下形式的强马尔可夫性： 

EJZ/t o e T \^) = ^X T ) (P,- a.c.). (12) 

其中 少 ( n , X 、 = E x H n , 面 If T o 0 T = ( H t o 0 r )( cj ) = H T ^)(6 r ^)( u )). 

注 2 上面假设 t = t { uj ) 是 有限马 尔可夫时间.假如不是这样，即 t ( u ) < 
oo , u ; 6^,那么 （12) 式应当改为如下形式（练习题 3): 

^(Hr oO T \^^) = ^( r , X T ) ({t < oo }; P ^ - a . c .). (13) 

换句话说，在此情形下， （12) 式在集合 {t < oc } 上 Pt - a . c . 成立， 

3. 强马尔可夫性的例 在研究重对数定律时，我们曾经用到一个不等式（第四 
章§4中的引理1;亦见下面 （14) 式)，对于布朗运动 B =(私) kt , 等式 

P 1 = 2P{|Br| > ct} 

是上述不等式的类似（见 [131] 的第 III 章). 



. 推广马尔可夫性和强马尔可夫性 


•2 


设&，&，•••是独立同分布随机变量序列.并且各随机变量共同的分布（关于 0) 
对称. ia X 0 = X e lR , X m = Xo 4 - + > 1. 像前面一样，以 表示序 

列 X = ( X m ) m ^ 0 ,(^o = x ) 的概率分布.（假设空间0 = { u ;}, 是由坐标给定的，其中 

CJ = ( xo ,： ri , • •. )，而 X m ( u ；) = x m .) 

由（很容易更改的）第四章§ 4 引理1的（ 9 )式，可见对于任意 a > 0,有 

P 0 { max X m > al ^ 2 P 0 { X n > a }. (14) 

J 

引进马尔可夫时间 T = T ( U ；)， 设 

t(uj) = inf {0 ^ m ^ n : X m ( uj ) > a }. (15) 

(一般，设 inf 0 = oo .) 我们现在说明，假如允许像处理确定性变量一样，对待这样的 
(随机）时间，应如何利用所引进的马尔可夫时间，或许可以给予不等式（ I 4 ) “很容易 
的证明（对照第四章§4引理1的证明）易见 

Po{Xn > a } = Po {( JV n - Xr 八 „) + X T ^ n > a } 

^ Po{-^n — -^rAn ^ 0, X. T ^ n > tt} — Po{^n - ^rAn ^ 0}Po{X T A n > a} 

> ^Po{X TA n >a} = ^Po{r ^ u} = ^P 0 | 0 ^ ^ > a|, (16) 

其中我们利用了 “‘仿佛，几乎显然的”性质：随机变量 Xn - 兄 TAn 和 ^ rAn 相互独 
立. 当然，对 于确定 性时间 T 这是 对的； 然而，对于随 机时间 T ， 一般说来这是不对的 
(练习题 4). (于是，这里的“很容易的证明”不能认为是适当的 .） 

我们现在基于强马尔可夫性 （13) 式的应用，引进不等式（ I 4 )的真正“正确的证 

明 ，' 

由于 { X n > a } c {r ^ n }, 口 J ■见 

Po { X n > a } = Eo { I { Xf ,> a}\r ^ n ). (17) 




• 254 . 


第八章形成马尔可夫链的随机变量序列 


由强马尔可夫性（13)，在集合 {t < oc } 上，有 

Eo ( H r oO r \^ r ) = 0( d ) ( P 0 — a . c .). (20) 

根据定义 ^( in , x ) = E x H m , 而对于 x ^ a , 

= Pz{^n—m 〉 > P:{^n‘m 〉工 } > 泛 

(由于随机变董的分布的对称性，得最后的不等式). 

于是，在集合 {t < n } 上 

Eo ( H r O 0 r \^ r ) ^ i (Po- a . c .). (21) 

由此以及由 （19)，（20) 式得所要求证明的不等式 (14). 

4. 柯尔莫戈洛夫-查普曼方程 如果考虑柯尔莫戈洛夫-査普曼方程 （13) 和 
方程 （38) (第一章§12)，则可以注意到它们非常相似.自然应分析它们的表述与它们 
的结论中的共同点和差异.（我们仅限于讨论具有离散状态 集合五 的齐次马尔可夫 

链 .） 

对于 n > 1，1 ( k e E , (注意到 （1) 式和 （2) 式)，有 

P l {X n =j}=J2P^{^n = j,X k = a}+ ^ EJ(X n = j)I(X k = a) 

oc^E qEE 

=Et{Ei[/(X n = j)I(X k = a)\^ k }} = = a)Ei[l(X n ^ k = j)\^k]} 

=^ E t { I ( X k = a ) E t (/( X n . fc = j)o e k \S^ k ]} 

aeB 

= Y 1 Ex {/( X fc = a ) E Xk I ( X n , k = j )} 

aeE 

= Y , = a ) E a I ( X n ^ k ^= j )}= Y . A 7 (為 = a ) E a I ( X n ^ k = j ) 

a^E otGE 

= = a ) P a (^ n - fe = j ), (22) 

aGE 

这就是柯尔莫戈洛夫-査普曼方程 (13), 而在第一章§12中表示为 

= 一' 
aGE 

假如在 （22) 式中，将时间 A 换成（取 1,2,... ,n 为值的）马尔可夫时间 T , 并且 
将采用马尔可夫性 （2) 换 成使用 强马尔可夫性（7)，则得（练习题 5 )柯尔莫戈洛夫- 
査普曼方程如下自然的 形式： 

P t { X n = j } = J 2 P 狀 t = a } P a { X n _ T = j}. (23) 

aeE 



§2. 推广马尔可夫性和强马尔可夫性 


在 （ 22 ) 式和在 （ 23 ) 式中都是对相变量 aeE 求和.在第一章 §12 的 （ 38 ) 式中是对 
时间变量求和. 

注意到上述情况，现在假设 r 是取 1 ， 2 , • .. ， n 为值的马尔可夫时间.像上述 （ 38 ) 
式一样，我们开始推导下面的式子，有 

n 

Pj { A r n = j} = = j y T = fc } + Pt{^n = j，T 彡 n 十 1 } 

n 

=EE,/(X n = j)I(r = fc)+P a {X n = j ? r >71 + 1} 

fc=l 

n 

Ei{E,[/(X n = j)I(r = k)\^ k ]} + P 7 {X n = j，r 彡 n + 1} 

k=l 

n 

=^ E t {I(r - ^)^/[(^„ = j)|^\]} 十 Pr{X n - j,r ^n + 1} 


W W 

Y , ^{/(r = k ) E x { I { X n ^ k = j)o e k \^ k \}^ Pi { X n = 丄 t 彡 n + 1} 

n 

私{/(了 = /c)E,/(X n . fc =j)}-h P,{^n = j，r > n + 1}. 


(24) 


在第一章 §12 的第 7 小节，如果集合 {.} = 0 , 则时间 

Tj = min{l ^ ^ n : =： j} 


&其中 


满足条件 巧 = n + 1. 从而,在这种情形下 ， （ 24) 式自然可以简化为 

n 

P t {X n =j} = = k)^x T J{X^ k = 3)\ 

fc=l 

n 

== j )) 

k —1 

n 

= = j ) 

k=l 

n 

= y^'Pjjrj = /c}Pj{x n _ fc = j}, 


成为第一章 §12 的 （ 38) 式 


pS ) = E /》 r ). 


fc 


(25) 


在 （24) 式中也可以得到另一有用的公式，其中（与柯尔莫戈洛夫-査普曼方程 
不同）是对时间变量求和.例如，假设马尔可夫时间 

r(a) — min{l ( k •• Xk = «(A:)}, 
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以及（确定性）函数 o = a(k),l 而马尔可夫链满足 条件： 对于给定的 i 和 

/ 2 , Pj { r ( a ) ^ n } = 1. 那么，由 （24) 式可见 

n 

[ E,[/(r(a) = /c)E x 咖 , 肌“.=州 

fc=i 

=亡 E,/(r(a) = k)E a ( k) I(X n - k = j), 


即（对照 （ 23 ) 式） 

n 

Pt{^n = j} = P*{T(a) = /c}P a(fc ){X n _fc = j}. 


5. 练习题 

1. 证明第 1 小节的注中的函数 0( x ) - E X H 为爹一 可测. 

2. 证明性质 (12). 

3. 证明性质 (13). 

4. 问第3小节的例子中，随机变量 Xn - X TAn 和 X TAn 是否独立？ 

5. 证明性质 (23). 

§3. 马尔可夫链的极限、遍历和平稳概率分布问题 

1. 广义马尔可夫性我们在§1中己经指出，用马尔可夫链描绘 的无后 效随机 
系统的渐 近性质 问题，是马尔可夫过程理论的中心课题之一.这在一定程度上与下 
面的情况有关，在相当广泛的条件下，这样的系统好像趋向于 “稳定”， 进入平稳“状 

态”. 

可以从不同的角度研究齐次马尔可夫链 X = ( X n ) n>0 的极限 性质. 例如，可以 
像狭义平稳序列的遍历性定理那样（第五章§3定理 3), 对不同函数/ = /(X )， 研究 

当 n — 00时形如 n - 1 f f(X m ) 泛函 Pa - 几乎必然收敛问题.像第一章那样，大 
数定律成立的条件也很 i 要. 

进一步的叙述，主要的注意力，并不放在诸如几 乎必然 收敛或 依概率收敛上 ，而 
放在当 n — oo 时 n 步转移概率 P ( n ) ( x ; A ) 的渐近性质的 问题上（见§1的10式), 
以 及平稳（不 变）测度= q(A) 存在性的问题上，其中测度 

q(A) = J P(x]A)q(dx) y ⑴ 

其中 P (: r ;>!) 是（一步）转移函数. 

需要强调，在 （1) 式定义中，一般将完全 没有假 定测度 g = 是概率测度（没 

有要求 q(E) = 1). 




马尔可夫链的极限、遍历和平稳槪率分布问题 
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假如 (7 = q ( A ) 是概率测度，则习惯上称之为平稳分布或不变分布.这一术语的 
含义是完全清 楚的： 如果把分布 (? 取为初始分布 7 T ， 即认为 P q { X 0 eA }= q(Al WJ 
由⑴式知.对于任意 n 彡 l , P ,{ X n eA }= q ( A ), 即该分布随时间是不变的. 

不难举出不存在平稳分布 g = q ( A ), 但是存在平稳測度的例子. 

例设入= ( X n ) r ^ 0 是由伯努利概型生成的马尔可夫链，即 X n+1 = X n +^ n+1 , 
其中…是独立同分布随机变量序列 ： PRn = +1} = P , P{<n = —1} = 士设 
义 0 = X ,其中 X € {0, 土1， • • . }. 显然这时转移函数为 

P ( x ; {x H - 1}) = p , P ( x : {x — 1}) = q . 

s 

不难验证，对于任意 : r € {0, 土 1, …}，满足 q ({ x }) = 1测度(7(4)，是 （1) 式的解 
之一.如果 V 丰 q ' 则满足 9 ({ x }) = ( p / qY 测度 q ( A ) 是第二不变测度.显然，这驾测 
度都非概率測度，而且这里不存在概率不变测度. ' 

这一简单的例子说明， 为存在平稳 （不变）分布，需要所研究的马尔可夫链满足 
一定条件.当 n — oo 时，关于转移概率 P ^ n ) ( x : A ) 的极限 值的问题之所以重要，首 
先是因为 不依赖于初始 状态 : r 的极限的存在 问题.这时应该注意到完全可能出现任 
何极限分布都不存在的情形.例如，可能出现这样的情形：对于任何和任意 
初始状态 : r e EMmP ^( x ; A ) = 0. 例如，在上面的例子中只需设 p = 1,即考虑确 
定性的向右运动（亦见§8中的例4和例5;对照§5的练习题 6). 

对于任意相空间 ( E ^) 的情形，寻找平稳（不变）分布，以及寻找（具有某种性 
质的）转移概率极限值的分布，是相当困难的课题（例如，见 [104]). 然而，对于可数 
状态空间（“可数马尔可夫链”）的情形，这里得到了重要的和相当明显表达的结果. 
有关结果将在§6和§7中介绍.不过，我们需要首先对可数状态马尔可夫链，按转移 
概率的代数性质和渐近性质，进行详细的分类. 

需要指出，所考虑的关于平稳分布和极限 limP ^)( x ; A ) 的存在性问题，二者密 
切相关.事实上，如果 \ imP ^( x ; A )(= v ( A )) 存在，与 x 无关， 而且（对于 Ae ^) A 
测度，则由 柯尔莫戈洛夫-查普 曼方程 

P (n+ 1 ) (x;^l) = J P M ( x ; dy ) P ( y ; A ) 

当 n — oc 时，经（形式地）极限过程，得 

v { A ) = j P { y : A ) v ( dy ). 

于是， t ; = v ( A ) 是平稳（不变）测度. 

2. 要研究的主要问题以下到处假设，所考虑的马尔可夫链 X = ( X n ) n>0 , 在 
可数相空间£； = {1，2,...}取值.为简便计，我们将用 e E ) 表示转移函数 

(为直观计，求游动“质点”）从状态 i 到状态的转移概率记为 . 

我们关心的主要问题涉及如下条件的说明： 


. 258 . 


第八章形成马尔可夫链的随机变量序列 


A . 对于一切 j e 五，存在不依赖于初 始状态 i G 五的极限 



B . 这些] n [ = (7 Ti ,7 r 2 , * • •) 的极限值是概 率分布 ，即 7 Tj 彡 0, [ 5 = 1; 

C . 链 X = ( X n ) n ^ 0 是遍历的，换句话说，极限值 n = (7 Ti , 7 T *2, * * * ) 满足条件一 

切丌 j > 0, Z 〜=1; 

D . 平稳（不变）概率分布 Q =(仏奶，…）存在并且唯一，即 Q =(仍,奶，…）满 

足条件％ > 0, X ： % = 1，并且对于一切 jeE ， 有 


Qj = 0 • 

* i^E 

注这里用到的术语“遍历性”在第五章已经出现过（遍 历性作 为度量的可递 
性，辛钦-博赫纳遍 历性定 理).从字面上讲，这些词的含义涉及不同的对象，然而它 
们也有共同点，就是它们都反映，在时间参数趋向无穷的情况下，各种概率特征的极 
限性质. 


3. 练习题 

1 . 列举马尔可夫链的例子，使得巧= lim 存在，并且： （ a ) 不依赖于初始状 

态 j ; ( b ) 依赖于初始状态:/ • n 

2. 列举遍历链和非遍历链的例子. 

3. 举出不是遍历分布的平稳分布例子. 

§4. 马尔可夫链的状态按转移概率矩阵的代数性质分类 

1. 转移概率矩阵假设所考虑的马尔可夫链有可数个状态集£ = {1,2,-..}, 
而其转移概率为 p xv iJeE . 以 P = ( 即）表示这些转移概率构成的矩阵（表)，或者 
用展开的形式将 P 写成 

〜 11 P\2 Pl3 …、 

P21 P22 P23 • • • 

p = ： ： ： . 

Pil Pi2 Pi3 … 

# • ♦ 

\ : : / 

下面要引进的马尔可夫链状态的分类，完全决定于转移概率矩阵 P 及其 n > 1 
次幂 P < n) 的代数 性质. 


§4. 马尔可夫链的状态按转移概率矩阵的代数性质分类 


• 259 - 


转移概率矩阵 P 完全决定于状态到状态的一步转移.而由于马尔可夫性，矩阵 
P (n) = 决定 n 步的转移.例如，矩阵 

d) 

和与其相对应 的图形 （第 一章 §12) 表明，它所决定的 “ 质点”的 运动是 这样的 ：“质 
点”在状态 0 和 1 上 游动： 经一步以概率可能 0 — 1 移动（以概率 1/2)， 但是移动 
1—0 不可能.由 n 步转移概率矩阵 



可见对于任意 n > 因此，移动 1— 0显然不可能，可见无论经过任何步 

移动， 1— 0当然也不可能. 


非本质状态 



本质状态 


图36 

在该例中从状态0进入状态1,但是不可能再越出状态 1. 

由图36,可见根据该图很容易复原转移概率矩阵 IP . 由此图的形态可以看出，这 
里有三个状态（图的左半部分)，从某一状态越出后，就再也不能返回. 

从按该图形游动“质点”的“将来”的性质看，这三个状态 不重要 （故称之为非 
本质状态)， 因为，从这样的状 态可以越出， 但是不 可能再返回. 

这样的“非本质”状态不值得研究，立即可以去掉，并把全部注意力放在剩下的 
“本质”状态的分类上.（可以用转移概率性质的 语言: p^\ij e E，n > 1，给“本质” 
状态和“非本质”状态的描述性定义以确切的形式，练习题 1.) 

* 2. 可达状态和可通状态为将本质状态或这样的状态组分类，需要用到如下概 

念. 

定义 1 称状态 j 为由状态 i 可达的， 记作 i — j ， 如果存在 n 彡0,使 /4 n) >0 
(若 i = j ， 则 # = 1; 若 i # )， 则 pg) = O). 

称状态 i 和 j 为互通的， 记作 i ㈠ j , 如果 i — j 且 j — i ， 即状态 i 和 j 互为可 
达的. 

引理1 互通性(相互可达性）是（转移矩概率阵为 P 的马尔可夫链的) 
状态的等价关系. 











• 260 - 


第八章形成马尔可夫链的随机变置序列 


证明 根据等 价关系 i h j 的定义，需要验证其 自反性 （i h 对称性 （即若 

i ㈠ J ， 则 j h i ) 和 可递性 （即若 ；㈠ •㈠ A ：， 则 < h fc ). 

前两条性质可以由状态的 互通性 得到.关于可递性由可尔莫戈 洛夫- 査普曼方 

程 ，当心）>0,/^)>0 时，由 

忒 ^ = p!;v;r) > 0 ， 

ieE 

可见 i —* k \ 类似地 k —* i . 于是 i k . 口 

我们把所有互通状态 ㈠ j 、 j ㈠ kX ...) 都归为 一类. 那么，所 
有这样的状态类或者重合，或者不相交.从而， 互通性 关系把（本质）状态的整个集 
合分割为有限或可数个不相交集合 E u E 2 r -( E = E l ^ E 2 + --). 

我们把这些集合 E u E 2 ，“. 称为（本质连通）状态 的不可约类. 所有状态形成一 
个不可约类的马尔可夫链称 做不可约的. 

为演示上面引进的概念，我们考虑马尔可夫链：其状态空间为£ = {1,2,3,4,5}, 
而转移概率矩阵为 



( 1/3 

1/4 

2/3 

3/4 ' 

0 

0 

0 

0 

0、 

0 

『⑻ = 

0 

0 

0 

1 

0 


0 

0 

1/2 

0 

1/2 


1 0 

0 

0 

1 

0 / 



这一链具有5个状态的图有如下形状: 



显然，该马尔可夫链有两个不可约的状态 类：玢 = {1,2} 和 E 2 = {3,4,5}. 研究 
该链的性质归结为，研究两个链中每一个链的性质：两个链的状态空间相应 为氏和 
五 2 ,而转移概率矩阵分别等于仏和 P 2 . 

现在考虑任何一个不可约状态类仏作为例子，假设将状态类描述在图37中. 
注意，这里只有经过偶数步返回每一个状态才是可能的，经奇教步只能转移到相邻 
状态，而转移概率矩阵具有分块的 结构： 



( 0 

0 

1/2 

1/2) 

0 

0 

1/2 

1/2 

1/2 

1/2 

0 

0 

〈 1/2 

1/2 

0 

0 ) 
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1 



3 


图 37 周期 d = 2 的马尔可夫链 

由此可见状态类 E = {1，2,3,4}划分为两个子类 Co = {1,2} 和67〗={3,4}，且 
具有如下周期性：质点一步从子类 C 0 越出， 一 定转移到子类 Q ，而由 G 转移到 C 0 . 
3. 按周期对状态分类上面的例子表明，看来在一般情形下，也可以进行不可 

约状态类按周期子类的分类. 

为此需要引进某些概念，以及数论中的一个结果. 

定义2 设 p 是某一非负数彡 0( n 彡 1) 的 序列； 是使 

SP n > 0{n ^ 1) 的下标 n 的集合，并且当= 0( n 彡 1) 时，设= 0，而设 
GCD(AD = 0,其中 GCD ( A / V ? ) 是集合的最大公约数①.那么，称数 

d{if) = GCD{n ^ 1 : ( p n > 0} 


为序列 W 的周期. 


换句话说，称序列 f 的周期为 d (的 、如果由 if n >0 可见 n 被 d{ip) 整除（即对 
于某个 k^hn 应具有 d{^)k 的形式)，则火⑷在一切具有该性质（即对于某个整 
数 I彡 l，n = dl) 的数中是最大的. 

例如，假如序列 W 1, ^2,…）满足： 


= 


{ ^4fc > 0, 

0， 


若 n = 4k，k = 1，2, • • • ， 
若 n _ 4k， 


则序列 p 的周期为 d(ip) = 4; 虽然卿 > 0(/ = 2,4,8), 但是 d(<p) ^ 2. 

定义 3 称序列 vp == (^1^2,--) 为非周 期的， 如果其周期 d(^) = 1. 

下面在根据周期性对状态分类时，将要用到数论中的如下初等结果. 

引理2 设 M 是关于加法运算封闭的非负整数的集合 （Af g 芯)， 并且 
GCD(M) = 1. 那么，对 于某一 n 0 , 所有数 n > no 都属于集合 M. 

把序列# = ⑽， 外，…)，取为序列喊)，以)，…）或…: M > 1，其 

中 j 是马尔可夫链的某个状态，而马尔可夫链转移概率矩阵为 P = ( po )， 且是 
矩阵 P ⑷ ( n 彡 1) 的元素， P (1) = P . (这时，如果 d ( j ) 是序列 （#,#,•.•) 的周期， 
则称状态 j 有周期 d(j)‘) 那么，就有如下 结果. 

① GCD 是 “Greatest Common Divisor ” （最 大公 约数）的缩写 • ——译者 
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定理1 设状态 j 的周期 d = d(j). 

如果 d = 1,则存在 n 0 = n 0 (j,d), 使对所有 n > n 0 转移概率> 0. 

如果 d > 1，则存在 n 0 = n 0 (j y d), 使对所有 n 彡 n 0 转移概率 p^ d) > 0. 

如果 (i > 1且对于策个 i 和 m > l > p | l m) > 0,則存在 n 0 = n 0 (j, d,m), 使对 
所有 n 彡 no 转移概率 p ( ^ nd) > 0. 

现在给出一定理，它说明不可约类的状态的周期，具有“单一类型”的特性. 
定理2 设艮= {ijr-} 是集合五中（互通）状态的某一不可约类. 

这样状态类的一切状态按如下意义是“单一类型的”：它们有同一周期（记作 


d ( E *)， 并称为汶类的周期 .） 

证明设 U €仏，则存在 A : 和/，使〉0和> 0. 而根据柯尔莫戈洛 

夫-査普曼方程 ) = [ 咖卜辦 > 0 , 

因此 k + /应被状态 i €艮的周期叩）整除.设 d ( j ) 是状态 j €艮的周期，由于 
d ( j ) = GCD{n : > 0}, 可见 n 应该被 d ( j ) 整除,而因为 

r 叫 ) > 祝 )4) > 0 ， 

故 n + A + Z 被外）整除； 由于 f 被整除，而且 d ( j ) = GCD{n : > 0}，因而 

d ( i ) < d ( j ). 

由对称性有 d ( j ) < 耶)，于是 rf ( i ) = d { j ). □ 


4. 不可约马尔可夫链假如状态集合组成（互通状态的）不可约类五 • S 尽且 
d(E.) = 1,则这样的类常称做非周期状态类. 

现在考虑 d{E.) > 1的情形. 

在这样的类内，由状态到状态的转移,可以以相当出奇别致的方式实现（就像上 
面讨论过的、周期为 d ⑹= 2 的马尔可夫链的例子一样；见图 37). 然而，结果表 
明在由一组状态向另一组状态的转移中，具有完全的“周期性（循环性 )”• 

定理3 ii E # (E, C E) 是周期为 d = d(E.) > 1 的不可约状态类. 

那么，存在称为循环子类的 d 个状态组 Cq , Ci ， … ,Cd-i(E^ = C 0 + Ci -h • • * 4- 
Q _ i ), 其特征是：在时间 n = p-h kd(p = 0,1, ••- ，d — 1; A : = 0,1， . •.）， “质点”将处于 
子类 C p 中，并且在下一时间进入 Cp + h 然后进入 C p +2 , …， 进入 Cd - i ，由 Cd - i 进 
入 Co 等 . 

证明固定某个状态并引进如下子类： 


Co = { j ’ € & :若 O 0，则 n = kd t fc = 0,1， • • • }， 

Ci = {j e ^ p^j > 0, 贝 lj n fed + 1 ， fc = 0,1， •. • }， 


Cd-i = {j € 五* :若 pg > 0，贝 1 J n = kd-h (d - 1), fc = 0,1， • ■. 
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显然，艮 =(^> + <^ + ... + 6^^. 现在证明，“质点”从子类到子类的运动是按 
定理3所描述的方式进 行的； 见图 38. 



Si 38在循环子类中的运动 


事 实上，我们考虑某个状态 i e C p ， 并假设对于状态 j € E^ Pij > 0, 则证明必 

有 j € ^ ， (p+l)(mod)• 

假设 n 使 p=j > 0. 那么， n 可以表示为 n = p + kd,p = 0 ， 1，…， d — 1 和 
A : = 0,1，…，故 n 三 p ( mod ), 所以 n + 1 = p + 1 ( mod ). 因此 p - ( ^ +1) > 0 (根据周期 

的定义 d = d ( E *)) ，故 

3 ^ ^(p+l)(mod) y 而这正是要求证明的. 口 

需要指出，由以上的讨论可见，转移概率矩阵 P 具 有分块 结构： 


C 0 C| c d 一 ' 



现在假设游动“质点”的运动由矩阵 P 控制，“质点”自子类 G 的某种状态幵 
始运动.那么，（由于子类 Co ^ i , •• ， c d -' 的定义）此“质点”在 n = p + M 中的每 
一时间处于集 # C p 中. 

从而，与每一个这样的状态集合 C p ， 都可以与一新的马尔可夫链相联系，其转 
移概率矩阵为 ( P lf )， i , jGC p . 这一新马尔可夫链是不 可约的 和非周 期的. 

于是，由上述（非本质状态和本质状态，以及不可约类和循环子类）的分类（见 
综合图 39), 可以得出这样的结论： 

设 p ^\ n ^ l , i ， j € E , 是决定“马尔可夫质点”游动的转移概率.在研究上述转 
移概率的极限性质时，可以仅局限于“相空间 E 本身是 唯一不可约非周期状态类” 
情形的研究. 
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在此假设下，具有这样相空间和转移概率矩阵 P 的马尔可夫链 X = ( X n ) n > 0 称 
做不可约的和非周期的. 



不可约类 [ t ] 向 RTI 


循环子类 [ o ] [ cj ] ^ 

图39马尔可夫链的状态按转移概率; 4 n> 的渐近性分类 


5. 练习题 

1. 在第1小节的末尾，讨论了非本质状态和本质状态的描述性定义.试用转移 
概率的术语，给出非本质状态和本质状态定义的确切表述. 

2. 设 P 是不可约的有限马尔可夫链的转移概率矩阵.且 P 2 = R 讨论矩阵 P 的 
构造 • 

3. 设 P 是有限状态马尔可夫链 X = 的转移概率 矩阵； w 2 ，." 是独 
立同分布非负整数随机变童序列，并且与久 独立 ； TO = 0，、= cn +…+〜，71 > 1. 

( a ) 证明： 序列 X = ( X n ) n >0 是马尔可夫链，其中戈 n = X Tft ; 

( b ) 求马尔可夫链戈= ( X n ) n ^ o 的转移概率矩阵民 

( C ) 证明，如果对于马尔可夫链 X ,状态 i 和 j 互通，则对于马尔可夫 链元状 
态 i 和 j 也互通. 

4. 考虑马尔可 夫链： 其状态空间为£； = {0，1}，而转移概率矩阵为 

( a 1 — a \ 八 

, 0 < a < 1, 0 < /? < 1. 

卜 0 P ) 

试描绘矩阵 P ( n ) ， n 彡2的构造. 

§5. 马尔可夫链的状态按转移概率矩阵的渐近性质分类 

1. 常返和非常返状态的概念与准则设 X = ( X n ) n ^ o 是有可数个状态集合 
£ = {1,2,...} 的齐次马尔可夫链，其转移概率为 
设 

/iT ) = Pt{^n = (1) 


而对于 i 〆 j ， 


4 n) = P t {X n = j ， X k ^fc^n-1}. 


(2) 
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显然 . . fL n 、 是 1 ‘质 点，， 恰好在第 n 步首返状态 f 的概率，而 #) 是 “ 质点，，在 
X 0 = i 的条件下，恰好在第 n 步首达状态 j 的概率. 

假如设 

= inf{n 彡 1 : X n ( u ) = ?；}, (3) 

其中当上式右侧大括号 {•} = 0时 a t ( oc ) = oo T 则概率和/^)亦可表示为下 
面的 形式： 

fu ] = P i{^ = n )> f\j ] = P i{^j = ri}. ⑷ 

对于 i，j € E ， 引进变童 

〜 = £/?). (5) 

n=l 

由 （4) 式可见 

fij = P ‘{〜 < 0C}. ⑹ 

换句话说，心是 “ 质点”自状态 i 出发开始游动，迟早到达状态 j 的概率. 

在以后特别重要的是， “ 质点”自状态 i 出发开始游动，迟早返回状态 i 的概率 
U 下面给出这些概率的定义. 

定义1如果 /h = 1，则称状态 i 为常返的（循环的，返回的 [ recurrent .]， 回归的 
[ persistent ]). 

定义2 如果九< 1，则称状态 i 为非常返的（非可迁的，非返回的，非回归的). 
下面的定理给出了常返性和非常返性的准則. 

定理1 a ) 状态的常返性等价于如下两条性质中的任何 一条： 

Pr { X n = i 对于无限多个 n } = l 或 Z #) = oo . 

瓤 

I 

b ) 状态 ieE 的非常返性等价于如下两条性质中的任何 一条： 

P t { X n =2对于无限多个 n } = 0或 < oo . 

摩 

% 

于是，由定理1，可见 

/it = 1 Pi{^n = i 对于无限多个 n } = 1 公 = oo , (7) 

n 

fa <1 ^ = i 对于无限多个 n } = 0 公 < oc . (8) 

n 

注注意，根据第二章 §1 表 1, 事件 { X n = i 对于无限多个 n }， 是对于无限多 
个 n 使 X n ( oj ) = i 的 u ; 集合的.如果这时人= { o ; : X „( u ;) = i }， 则（见第二章§1 
表 1). 


{ X n = i 对于无限多个 n } = nu ~ 
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证明立即可以指出如下蕴涵关系: 


E #) < 00 =» Pi { X n = i 对于无限多个 n } 


⑼ 


因为，由于= P t { X n = i }, 可见上面的蕴含关系是博雷尔 
论（第二章§10命题 a )). 


坎泰利引理1的推 


现在证明, 


/“ = 1 分 = oc . 


( 10 ) 


由齐次性和马尔可夫性，可见对于任何数组 （&••♦ ，4)和（力， •• •，九 ) ，有 

Pr{(Xi ， …, ^k) = (“ ， … ， 4) ， (X/c+i，• •. ,X^ +n ) = (ji, - - - , jn)} 

=Pi{(A 、 , … ^Xk) = (21, /4)}P“ {(Xi ， … , x n ) = (ji, •• - ,in)}* 

由此直接得（对照第一章 §12 公式 （38) 和第一章§2公式 （25) 的推导)： 

n — 1 

硌 ) = P t {X n = ^ /.：/，•••， Xn^k^j,X n ^j} 

Ar=0 
n—1 

=f / 乂 • • • ， x n - k -i ★ x n . k ^ j}Pj{x k =j} 


k=Q 




一 k) 


h =0 


这样，得如下 〃 (n > 1) 步转移概率的公式 •. 


= E ^ 


- k ) 


k 


设 J t 有 


( 11 ) 


( k ) Jn - k ) 






n = l k=l 


72=0 


n=k 


00 


(n) 




其中# 



Y^Pu ] < 00 => fa 


E # 

n=l 

00 

+ E #) 


( 12 ) 


(13) 
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现在设 E /) L n) = 0 C , 则 


N N N N 

厂 Ak) V- (n^k) / r(k) Ji) 


E # = E E f!Mr k ) = E ， Z < E #) E d 


因而 


oc N L ^ 

fc=1 k=1 E ^ } 


从而 


& L n ) 


今 fii 


(14) 


由蕴含关系 （13) 和 （14)， 立即得到互蕴涵 关系: 


Pu ] < oo ^> fu < l , 

n=l 

oo 

Pii ] = 00 ^ /« = L 


(15) 


(16) 


为完成定理的证明，只需验证下面的互蕴涵 关系: 


/ lt < 对于无限多个 n } 

f u — I Pj { X n = i 对于无限多个 n } 


(17) 

(18) 


直观上，这些性质是很清楚的.例如，如果/〃 = 1，则说明 P l { a i < 00 } = 1，即 
“质点”迟早要返回它开始游动的状态 i . 但这是根据强马尔可夫性，从这一（随机) 
时刻起，“质点的寿命”仿佛重新开始.假如继续观察，则我们将看到，事件 { X n = i } 
将对于无限多个下标 n 出现，即 Pi { X n = i , 对于无限多个 n } = l . 

我们现在对性质 （17) 和 （18) 进行严格证明. 

对于给定的状态 i e 考虑回返状态 i 的次数不少于 m 的概率 a m . 我们证明 

此概率等于 Qm = 

事实上，如果 m = 1，则 A 由定义可知 a : = /, t . 现在假设 a m _! = (/^) m -\ 

证明 am = (/ n ) m . 
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由强马尔可夫性（见 §2 的 （ 8) 式 ) ，并注意到事件 {q = k}e 可见 
= PJ 返回状态 i 的次数不少于 

OC 

= ^P i {a l = k 且在 A; 时后返回状态 i 的次数不少于 m- 1} 

k=l 

oo 

= J2Pi{cr t = 中至少有 rn - 1 个值等于私 =fc} 

k=l 

oo 

= ^]P 2 {c7 1 = A:}P 1 {^i,^2 , ••- 中至少有 rn-i 个值等于 i} 

k = 1 

OC- 


[^ 、⑹爪一 1 = fn(fur 




由此得 


P t { X n = i 对于无限多个 n } = lim (/ “) m 


1 ，若 fa 
0，若九 


(19) 


该公式表明，如果 A = {4 ri 对于无限多个 n } (= limA n ), 其中 = { X „ = ?:}, 
则对于概率 Pi ⑷， “0 - 1 律”成立，即 P t (^4) 只有0和1两个可能值.注意，这一性 
质不能直接由博雷尔-坎泰利引理（第二章 §10) 直接得到，因为事件 A n ( n 彡 1)— 
般不独立. 

由 （19) 式，以及 性质： Pi ( A ) 只有0和1两个可能值，可得所要证明的（ I 7 )式 
和 （18) 式中的蕴涵关系. 口 

2. 非常返状态由定理1可以得到非常返状态如下简单而重要的性质- 


定理2 如果状态 j 非常返，則对于任意状态 i € £， 

£#) < °°， 


( 20 ) 


因此，任意状态 if £， 


心 )— 0， 

证明由 （11) 式（其中 P 以=1)，有 

oo oo n 

E^ n) = EE« 

n=l n=lfc=l 


OO 


- fc ) 


E ^ E ^ 


k 


0 


<o °^ 


( 21 ) 




其中我们注意到 
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是质点从状态 i 出发,迟早到达状态：/的概率). 

由 （20) 式显然得 （21) 式. 口 

3. 常返状态现在考虑常返状态.以首返某状态 i G E 的平均首返时间 

§ 

OO 

叫 = E < 1 (= ( 22 ) 

n = l 

有限还是无限为转移，每一个常返状态 i € e 分为两种 类型： 正常返或零常返状态. 
我们知道，根据 （1) 式表示恰好经过 n 步首返的概率. 

定义3 如果 _ 1 

" r 1 =(☆/?)) >0, (23) 

则称状态 i € JE ： 为正常返的，而如果 

^r 1 = =°- ( 24 ) 

则称状态丨€^：为零常返的. 

这样，根据定义首返零常返状态，平均经过无限时间出现.平均首返正常返状态 
的时间是有限的. 

4. 马尔可夫链的状态按转移概率矩阵的渐近性质分类下面的框图直观地表 
示，马尔可夫链的状态，根据常返和非常返，正常返和零常返分类. 



图40马尔可夫链的状态按概率 p ^ n) 的渐近性质分类 


5. 常返和非周期状态下转移概率矩阵的渐近性质 

定理3 设马尔可夫链的状态 i G E 是常返的和非周期的 （ d ( j ) = 1). 

那么，对于任意有 

p ( n ) ft 3_^ n oo. (25) 

此外，如果状态 i 和 j 是互通的 (i ^ 3), 即状态 i 和 j 属于同一不可约类，则 








(26) 







•270- 第八章形成马尔可夫链的随机变量序列 


在下面将要进行的证明中，本质地依赖于引理1的论点，而该论点是“离散更新 
理论”的关键结果.关于定理3的另外一个，基于耦合 ( coupling , 第三章 §8) 的思想, 
例如参见 [104], [105]. 

引理1 (“离散更新理论”的基本引理）设# = 是非负数的非周 

期 （< j ) = 1) 序列、根据该序列建立一对应于如下递推规则的序列 tx = ( W ， u 2 , …）: 
uo = 1，对于任意 n 彡1， 


= — 1 + ^ 2^71 — 2 + • • • + V^n^O* 


那么，当 n — ► 00时 

W n — 八一 1 ， 

OC 

其中 M = [ n<p n . 

71 = 1 

关于该引理的证明，例如参见 [69 j (第1卷，第 VIII 章， 10). 
定理 3 的证明 首先设 i = j . 证明 

n — oc *. 

为此将 （11) 式（对于 i = j 的情形）写成下面的形式： 




辦 r 1 ) + 


㈣ 一 2 )+ 


+/«)， 


其中设 l 并且显然/$=如果设 


则 （29) 式有如下形式 


(27) 


(28) 


(29) 


(30) 


u n — + H - + 

因此恰好是引理 1 的递推公式. 

假如我们能证明（定理3中假设的条件）序列（^人#，…）的周期等于1,则 
序列的周期心⑺等于〗，那么所要证明的 （28) 式的结果可以直接 
由引理1得到. 

而这又是下面（引理2的）一般命题的推论. 

引理2 对于任意 jeS , 

GCD{n ^ 1 : > 0} = GCD{n ^ 1 : /)； } > 0}, (31) 


即周期 d f ( j ) = d ( j ). 
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证明设 

M = Mj = {n : > 0}. 

由于 M / G M , 可见 

GCD ( M ) ^ GCD ( M /), 

8P d(j) ^ df(j). 

相反的不等式由如下概率的意义和 / j；\n ^ 1可以得到. 

如果“质点”从状态 j 出发经过 n 步仍然处于该状态> 0)，则说明其 
游动是这样进行的：首先经 h 步（/^^ > 0) 由状态 j 首次返回 j， 然后经 h 步 
(/jj 2) > 0)，…，经幻步 (/jj^ > 0) 由状态 j 首次返回 j. 

因而 n =幻+ A：2 +…+幻•数 df ( j ) 整除 k '、 k 2、 …、 ki 、 故也整除 n. 由于 d(j) 
是被 n 整除且使> 0的数中最大者，可见 rf(j) 彡 df(j). 

于是 d(j) = d f ( j ). 顺便指出，在利用公式 d(j) = GCD{n > 1 : pg } > 0} 定义状 

态 j 的周期 d ⑴时，也可以利用公式奶 ） = GCD{n 彡1 : /^ > 0} •引理 2 得证. 

□ 

完成定理 3 的证明 1) (25) 式的证明 {i + i 的情形 ）• 

将 （ 11) 式表示为如下形式： 

pg = E ^ T k )， ( 32 ) 

fc=l 

其中/^=0,/<0. 

这里，由于当 n —oc 时 

以一士 ，且£渚)<1， 

^ / c=l 

可见根据控制收敛定理（第二章§6定理 3) 

li-E ㈣ 一 fc> = 士 E ，= ㈣ 

fc=l fc=l fc=l 3 

由 （ 32) 和 （ 33) 式得 

limpid = (34) 

n 3 "j 

即命题 （25) 得证. 

2)(26) 式的证明 ( i ㈠ j 的情形).假如在条件•下（即状态*和 J •属于同一 
互通状态的不可约类）概率心=1,则由 （34) 式即可得性质（ 26 )式. 
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假设状态 j 是常返的，则由定理1的命题 a )， 有 Pj { X n = 3 对于无限多个 
n } — 1. 因此，对于任意 m , 


(m) 



== i } r \{ X n =j 对于无限多个 n }) 

彡 ^2 PAXm = ★ j 、 … , X n ^i ^ j , X n = j } 


n>m 


E 


m) 




(35) 


其中中间的不等式是广义马尔可夫性的推论（见 §2 的 （ 2) 式).由于 £ 是互通状态 
类，可见存在 m ， 使> 0. 因此由 （ 35) 式推得 心 = 1. □ 

6. 状态周期任意的情形对于感兴趣的状态 j 的周期 c/ 任意 （d = d(j) 〉 0) 
的情形，可以自然地表述上面的定理 3 的类似.看下面的定理. 

定理4 设马尔可夫链的状态 j ^ E 是常返，且其周期的 c / = d ( j ) 彡1，而 
也是马尔可夫链的状态 j (有可能与状态 j 相同). 
a ) 设 i 和:/属于同一不可分解状态类五，且 C 0 , C ir " ，(^ — i 是（循环的) 
子类，按如下顺序 编号： j eC 0 ，i 其中 ae {0,1,..*， d -1}， 而在此子类中的运 
动是按如下顺序： Co — Cl ~ ^… —Ca C(l 一 1 — Cq . 那么，当 n —► oo 时 


p^ d 


+ CL) 



(36) 


b ) 在一般情形下，当 < 和 j 可能属于不同的不可约状态类时，当 n — OC 时，对 
于任意 a = 0， l ， … ， d - 1， 


P ! f +a) 



A 

N 



E/i 


(kd+a) 

33 



(37) 


证明首先设 a = 0,即 i 和 j 可能属于同一不可约状态类 C ， 并且同一循环子 
类 C 0 . 

考虑转移概率并根据 pf (按照§1的构造）建立新的马尔可夫链 • 
对于新链，状态 j 是常返的和非周期的.新链的状态 i 和 j 仍然是互通的 （i h j ). 
这就证明了定理3的性质 (26): 


P^ d 


1 


d 




k 


k 




其中最后一等式成立，因为，对于一切不能被整除的/，有= 0,并且根据定义. 
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现在假设，对于 a = 0， l ， … , r (^ d -2), (36) 式已得证. 
根据控制收敛定理（第二章§6定理3)， 



nd+r 十 1) 


Y1 層 G 


(nd+r) 




k 





于是，对于 a = r + 1(彡 d - 1), 欲证明的 （36) 式得证.从而，根据归纳法，对于 
—* 切 a = 0，1，...1, (36) 式得证. 

b ) 对于任何 i , j € _ E ， 下面的公式成立（见 （11) 式)： 


nd+a 

^(ndfa) _ j{k)^(nd-\-a-k) 



(i — 0 ^ 1 ^ • • • ^ d 一 1 . 


根据假设状态 j 的周期等于 (1 因此，除当 A :- a 具有形式 rd 时之外，有 p ^ d+ - k ^ 
于是，有 


P ： f +G) 


E / S ' 


rf+W ((n-r)rf) 


0 



由此以及上面证明的（:讯）式，仍然运用控制收敛定理，最后得到需要证明的公 
式 (37). □ 

7. 非周期马尔可夫链的完全分类像在§4的末尾指出的那样，在根据转移概 
率的渐近性质，研究马尔可夫链的状态的分类时，只需局限于考 虑非周期不可 约链. 
在定理1〜3中陈述的结果，实际上包含了这样链的完全分类的全部必要内容. 
首先引进一个辅助命题，它是关 于不可 约链的所有状态属于同一种（“常返”或 
“非常返”）类型.（对照§4定理2中的“单一类型性 

引理3 设 E 是（互通状态的）的不可约类.那么，其全部状态或者都是常返 
的，或者都是非常返的. 

证明假设链至少有一个非常返状态，例如状态 i ， 则根据定理1， ZPh ] < oo . 

现在假设是 j 任意另一个状态.由于五互通状态 （i ^力的不可 Si 类，存在这 
样的状态友和/，使/^ > 0和?^ > 0. 那么，由明显的不等式 




可见 

以 _ _?：«)• 

n n 

根据假设 Ep ! r } < 00,而*，/满足 $)4) > 0,从而< 00. 

鉴于定理 l n & b )， 由此可见，状态 j 也是非常返状 态/换 句话说，假如不可约类 
只要有一个非常返状态，则其余状态也都是非常返状态. 

现在设 i 是常返状态，我们证明其余状态也都是常返状态. 
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假设 （除/ 之外）至少有一个非常返状态.那么根据上面己证明的结果，其余状 
态也都是非常返状态.因此与“ i 是常返状态”的假设矛盾. 

因此哪怕有一个常返状态，自动导致（不可约链的）全部状态都是常返状态.从 
而引理得证. y n 

该引理的结论，完全证明了对于不可约链，“常返链”和“非常返链”这两个（被 
普遍接受的）术语是合适的.（注意，这里说的“链”，而不仅是个别状态 .） 

定理5 假设马尔可夫链由非周期状态的一个不可约类 e 构成.对于这样的 
链仅属于如下三种可能的类型之一： 

⑴ 非常返链.在这种情形下，对于一切 e 五， 

= 0 , 

并且在 

5^;) < oo 

n 


的意义上充分“快”地收敛于 o . 

( ii ) 常返与零常 返链. 在这种情形下，对于一切€尽 

lirnp^ } =0, . 


并且收敛在 

= 00 
n 

的意义上充分地“慢”，此外从 j 到 j 的平均首返时间^等于 OO . 

( iii ) 常返与正常返链.在这种情形下， 对于一切 

=丄 > 0， 

n 3 fh 

其中仏是从 j 到 j 的平均首返时间，并且有限. 

证明命题⑴在定理1的 b ) 和定理2己经证明.命 题⑼和 （ iii ) 可以直接由 
定理1的 a ) 和定理3得到. 口 

8. 有限马尔可夫链现在考 虑有限马尔可夫链的 情形，即状态集合五 由有限 
个元素组成的情形. 

结果，在这种情形下，定理5中的三种可能性 （ i ), ( ii )，（ iii ) 只有 （ iii ) 仍然成立. 
定理6 设有限马尔可夫链是不可约的和非周期的.那么，这样的链是常返的 
和正的.这时 

limpj?) = — > 0. 
n 3 
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证明用反证法.假设此链是非常返的. 那么， 如果链的状态数 r 是有限的 

(五 = l ，2,...， r *)， 贝 IJ 

J2 PiT = （ 38 ) 

j-l J = 1 

该式的右侧显然等于 1. 但是我们假设它是非常返的，那么，这时（根据定理5的 （ i )) 
右侧应该等于 0. 由此得到的矛盾将 （ i ) 排除. 

现在假设链是常返的. 

由于定理5的命题只剩下两种可能性 （ ii ) 和 （ Hi ). 需要排除 （ ii ). 事实上，由于 
对于所有 〗， j € 则像非常返状态的情形一样，出现矛盾. 

于是.只有第三^可能性 （ iii ). □ 

9. 练习题 

1. 考虑不可约链.其状态集为 0,1,2,... 那么，它是非常返的，当且仅当方程组 

uj - } UiPij, j= 0 ， 1，… 

# 

I 

有有界解.而且 U , 辛 C (常数)， 2 =0,1,... 

2. 只要序列 U =(以0, ?〜•••），〜 — oc，i — OC , 使得对于一切 j # 0,叫彡 E u iPij > 

则状态集为0、1，2,…的不可约链是常 返的. f 

3. 状态集为（)，1,2，...的不可约链是常返的和正的，当且仅当方程组 

Uj = u iPij 、 J 二 0' 1 ， … 

0 

t 

有不恒等于0的解，而且 I ： |叫| < oo . 

t 

4. 假设马尔可夫链的^态为0，1, •…， 而转移概率为 

， Poi = po > 0 ， 

Pi > 0, j = i ^ l y 
ri > 0 ， j = h 
qi > 0, j = i - 1, 

0， 其他. 




设 
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证明如下的等价关系: 


5. 证明: 


常返链分^ Pm = OO, 
非常返链分 Ep m < oo , 


正链^ 
零链# E 


E 

E 


1 


Pm Pi 


< 


Pm Pm 


fik ^ fijfjk - 
suppj^ ^ fij ^ PtT 


6. 证明，对于任意具有可数状态集的马尔可夫链，对于转移概率 p ^\ 在切萨罗 
(E. Cesaro) 意义上永远存在极限： 



7. 考虑马尔可夫链 € 0 ,€i，."，_&^c + i= (匕)+ +取 +1 ， A: 彡0,其中/?1,仍，…是 
独立同分布随机变量序列，其概率分布为： P { Vk = j}= Pj J = 0,1， • • • 

(a) 试写出转移概率 矩阵； 

(b) 证明，如果 po > 0,po +p〗 < 1,则链常返当且仅当 


彡 1 . 
k 


§6. 可数马尔可夫链的极限分布、遍历分布和平稳分布 


1. 极限值 M 与平稳分布 Q 的联系我们从一个一般结果开始，它首先与非 
常清晰的 极限值]0[ = (7ri,7r 2l • * *) 相联系， 其屮7^ = lirnp (j = 1，2,…），以及与平 
穩分布 Q = 相联系. 

定理1 考虑具有可数状态集 E = {1,2,-..} 的马尔可夫链，其转移概率 
p^iij C E ) 有不依赖于初始状态< € E 的极限： 


丌 j 


―岌)， 


j e E . 


那么， 

oo oc 

(a) E ^3 ^ ^ E ^iPij 

j=l j=l 


=€ E \ 
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( b ) 下面的式子二者必居其一： 


= 0( 即所有7^ = 0 ,j €五）或 丫严 j 


( c ) 如果 E 〜=0,则马尔可夫链无平稳 分布； 如果 E tTj = h 则极限值的向 

k=l j=l 

量) n [ =: 就是马尔可夫链的平稳分布，而且该马尔可夫链再无其他平稳 

分布. 


证明有 


= £ li r ^^ n) ^ 


⑴ 


而对于任意 j € £， e E ， 有 


叩” 


^ limp^pij ^ Urn ^ pl^Pij = iimp^ +1) = 


n j 


⑵ 


注这里出现的不等式和下极限，当然是“法图引理”的推论.不过应该注意，在 
这里法图引理，并不是像第二章§6那样，用于由概 率测度 定义的勒贝格积分，而是 
用于按 <7-有限（非负）测度进行积分的情形. 


这样，极限值的向量 BU ㈨ ⑻，…），具有如下性质： 

oo oo 

〉 : TTj. < 1， > : ^iPtj ^ 3 ^ 


⑶ 


现在证明，最后一个不等式实际上是等式. 


设对于任意允 e E ， 有 


^ 71 jo 


那么 




p % j = 


⑷ 


所得矛盾说明， （3) 式中最后一个不等式实际上是 等式. 由于对于 j € E ， 有 

oo oo 

彡 1 ， ^iPij — 


可见性质 （ a ) 成立. 

为证明性质 （ b )， 注意到 （3) 式£ ir iPij = n jy 经积分，对于任意 n > 1 和任意 


j eE,% 


(n) 




丌 J 
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根据勒贝格控制收敛定理（第二章§6定理3)，由此可见 


00 00 / 00 

〜^ l T [ A 1 〜 

1 \ i=l 


3 


即 





tti = 0, j e E 、 


因此 







o . 


这样， tt(l — 4=0，而0= n i - 所以 a=l 或 a = 0, 这就证明 / 命题 （ b ). 
最后证明 （ c ). 为此， ▲◎ = (_，•••) 是某一平稳分布，则 




(n) 

1 3 


Qj , 且 

\ i=l 


j 6 E 、 


其中后一个等式成立，是根据控制收敛定理. 

所以，如果 Q 是平稳分布，则£ w = 1，从而对于此平稳分布一定（应该）满足 

1=1 

条件：对于一切 j e E ， 韦 qj = nj . 这样一来，假如 E ~ = 0 ,则性质乞仏=1就 

一】 % 1 

不可能成立，说明在这种情形下没有平稳分布. > * 

根据 （ b ) 还有一种可能性§ ~ = 1. 在这种情形下，根据 （ a)，n =…） 

本身是平稳分布.而由以上的^述知，如果 q 是另外某个平稳分布，则它应与 n 重 
合.于是，在£ ~ = 1的情形下，平稳分布的唯一性也得到证明. □ 

i=i 

2 . 平稳分布和遍历分布的基本定理定理 1 给了平稳分布存在（同时也唯一) 
的充分条件.该条件在于对于一切 j €五，存在不依赖于 i € £的极限值 7 Tj == 

并且至少对于一个状态 j € 艮 使得巧 > 0. n 

同时，在§5中相当详细地研究了极限 lirn ^ n ) 存在的更为一般的问题，与如下 
一些链的“内在”性质相联系，诸如不可约性！ 1 周期性，常返性和非常返性，正常返性 
和零常返性.所以，自然正是用这些由转移概率矩阵 Pij(iJ e E ) 决定的、 “ 内在” 
性质的术语，来表述平稳分布存在的条件.显然同样地,如果用这些术语指出一切极 
限值巧 > 0 (j € E ) 的条件，则根据定义（见§3的性质 C ) 向量 n = (^，心,…）将 
形成遍历极限分布. 

下面的两个定理将给出这些问题的答案. 
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定理 2 (平稳分布的基本定理） 考虑具有可数状态集£的马尔可夫链.存在 
唯一平稳分布的必要和充分条 件是： 

( a ) 恰好存在一个不可约子类， 

( b ) 一切状态都是正常返的. 

定理 3 (遍历分布的基本定理） 考虑具有可数状态集的马尔可夫链.存在遍历 
分布的必要和充分条件：链是 

(a) 不可约的， 

( b ) 正常返的， 

( c ) 非周期的. 

3. 定理 2 的证明 必要性.假设所考虑的马尔可夫链有唯一平稳分布，记作 
Q s . 那么，我们证明，在状态集五上存在并且唯一正常返子类. 

以 iV (0 ^ N ^ oo ) 表示这样子类的潜在可能数. 

设 iV = 0,而 j 是 E 中 的某个 状态.由于不存在正常返类，则状态 j 可能或者 
是非常返的，或者是零常返的. 

在第一种情形中，由沾的定理2可见，对于 i K 极限％ = limpf 存在，并 
且等于 U . ^ 

而在第二种情形中，由§5的性质 （37) 以及由于~ = 00 (因为状态 j 是零常返 
的）可见，这些极限 tt , = lirn 也存在，并且等于 0. 

这样.当 iV = 0时对于一切€五，极限巧= liin 存在，并且等于 0. 因此 
在这种情形下，根据定理1的命题 （ c )， 在这种情形下&有平稳分布，从而 7 V = 0的 
情形被“ 存在平 稳分布仏 9 ” 的假设排除. 

现在假设 AT = 1. 以 C 表示 唯一正 常返类 • 

如果该类的周期 d ( C ) = 1,则根据§5定理3的性质（26)，可见对于一切 i，j € C ， 

— " 广 ， n — 


而若 j _ C ， 则这一状态非常返.那么，根据§5定理2的性质 (21), 可见对于一切 


丑,有 

— > 0, n —♦ oc. 


设 


f o ), 若 j eC . 

又0， 若 j 李 C . 




那么，由于集合 C / 0，则根据定理1数组 Q = ( W , 奶， •••） 是唯一平稳分布，从而 

Q = ' 


现在假设周期 d ( C ) > 1. 

设 C 0 ， C U ... 是 (正常返） 类的 C 的循环 子类. 
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每一个子类 Cfc，fc = 0,1， • • • ， d- 1，关于转移概率矩阵 p ^\ ijec , 是常返的和 
非周期的.那么，如果则根据§5公式（36)，有 


--> 0 . 


^3 


所以在每一个集合 Cfc 上，（由于定理1的性质 （ b )) 数组 { d/fijj 6 C ,.} (关于矩阵 
pgUjeC ) 是唯一平稳分布. 


特别，由此可见 


J ^ =1 ’ 即 In 


设 


-> 3 ^ C = Co 4- 

0 ， iic. 


• • • 


+ Cd - u 


⑹ 


因而，就证明了，对于所考虑的马尔可夫链，数组 Q =(仍，奶， •••） 是唯一平稳分布 • 


事实上，如果 i € 则 






jec 


那么，如同⑴式，有 






j€C 


jec 




从而 

但是 



( 7 ) 

⑻ 


像定理 1 的证明（见 （3) 式和⑷式）一样，由⑺式和 （8) 式，可见⑺式中实际上 


是 等式: 


f 土 i 


S ^ Pji 


⑼ 


由于 W = Mr 1 > 0,则⑼式表示数组 Q = (仏奶 ，…）是平稳分布，而由于定理 

1是唯一平稳分布.从而 Q = _ 

最 后假设 2彡 AT<oc 或 iV = oo . 如果 2 ^N < oo , 则以 C l 、“， C N 表示正常 

返 子类; 如果 iV = oo , 则以 C 1 ' 2 ,... 表示正常返子类. 
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设数组❿=(也也…）是类中平稳分布，由公式（对照 （5) 式和⑹式） 

卜 1>0, X 

% U HC k 

建立的平稳分布.那么，对于任意非负数 〜， a 2 ：々 + a 2 + ... = 1( 若 7 V < 00, 
则 a / v-fi = ••• = 0), 数组 { aiQ 1 , ••- y a N Q N ,-' } 显然是平稳分布.因而，若假设 
2彡 iV < go, 则导致 “一 切平稳分布的集合”是连 续统， 但这与所作假设“平稳分布 
唯一”矛盾. 

因而，所作证明表示，只可能是 N = 1. 换句话说， 如果存在（唯一）平稳分布, 
则链恰好有一个由正常返状态形成的不可约类. 

充分性 假如马尔可夫链有不可约正常返状态子类，即有情形 W = 1，则由前 
面的叙述可见，（由定理1的命题 （ c )) 平稳分布存在而且唯一. 

于是，定理2完全地得证. 口 

4. 定理3的证明实质上，这一定理的证明全部必要的，都包含在定理2及其 
证明的论述中. 

充分性 如果利用定理2的证明中记号，则由定理的条件，有 TV = 1 ,C =五和 
d ( E ) - 1 (非周期性).那么，由定理2的证明中关于“ TV = 1的情形”的讨论，可 
见 Q =⑷，仍，...），其中％ = e E , 是平稳分布，同时又是遍历分布，因为所 
有"广 < ooj e E . 

因此，遍历分布 ln [ = (7 T t , 7 T 2 , … )(= Q ) 的存在性得证 • 

必要性 如果存在遍历分布 I ! = ( TT ^ TTf .)， 则根据定理1，存在并且唯一等 
同于 M 的平稳分布 

由定理2的论断（及其证明)，可见 iV = 0 和 2<7 V <00 不可能出现，即只 
有 N = 1， 并且仅存在唯一由正常返类组成的不可约类 C . 只剩下证明 C =五和 
d ( E ) = 1. 

用反证法,假设 C _ E 和 d ( C ) = 1,则仍然由于在定理 2 的证明中关于 “；V = 1 
的情形 ’’ 的讨论，可见存在状态:/多 C , 使对一切 i 由 ？4 n) — 0. 然而,这与对于 

—切 i € E，nj ; lim > 0 矛盾. 

这样，在 d ( C ) = 1的情形下，有 C = E 和 d ( E ) = 1 (非周期 性). 

最后，如果 C / E 和 d ( C ) > 1,则仍然由于在定理2的证明中关于“ iV = 1的 
情形” 的讨论，可见存在平稳分布 Q =(仏奶，…)，其中某些％ = 0,这与“ n = Q ， 
而 H ㈨ , tt 2 , … ） 是遍历分布且（根据定义） 所有巧 >0 JeE ^ 矛盾 • □ 

5. 定理3的推广根据平稳（不变）分布 Q =( W ，奶， •..） 本身的定义，是满足 

条件 

oo 

Qj ^ 0, j € 五={1，2，." }，^ = 1 

1=1 


(10) 
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的一组数，并且服从 方程: 


¥ 

j € E 


( 11 ) 


换一种提法，可以认为.平稳分布 Q == ( q '， q 2 是方程组 

rx > 

Xj = 〉二 工 iPij ， j 6 E 


( 12 ) 


的一个解，其中方程组服从 非负性 条件和 规范性 条件: 

OC 

Xj ^0, 和 Xj 


如果满足定理3的条件，则平稳解存在，并且同时也是遍 历的. 因此，由定理1 
的命题 （ c ) 可见，方程组 （12) 在序列类 


(工1,工2, 


Xj ^ 0, j ^ / ^ 工 j 


中有解并且唯一. 

实际上，由此可以得到更多结论.具体地说，这里定理3的条件也成立，从而存 
在遍历分布 M = (7 Ti ，7 T 2, …). 

在此条件下，我们考虑在如下 （更广泛的） 序列类 

oo oo 

h€R ，j e E, ^2 \ x i\ K °°» = 1 


中，方程组 （12) 解的存在性问题.我们证明在该类中，解唯一并且遍历分布 H 就是 
该唯一解. x 

事实上，如果 ⑻， 心,…）是解,则由于 f |巧| < 00,可以得到如下一系列等式: 




Yj XiPi j = 5Z (X] Xkpk j 卜 =E 


•rfc 


l 


(I 


PkiPij 




=• • •= 




其中 n > 1 .当 n — oo 时求极限，（根据控制收敛定理）对于任意 A : e E ， 由此得 


X 3 








由于根据假设5： | x A .l = 1，故巧=：巧 ， j e £；，而这正是需要证 明的. 

fc=l 
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6. 练习题 

1. 对于转移概率矩阵为 



(1/2 

0 

1/2 

0、 

0 

0 

0 

1 

1/4 

1/2 

1/4 

0 


1/2 

1/2 

0/ 


的马尔可夫链，讨论其平稳分布，极限分布，遍历分布问题. ^ 

2 •设 P =(⑼）是有限双随机矩阵（即对于 i = I ， ... ， m ， ⑼= 1; 而对于 

i = 1, …， m ， = 1). 证明，对于相应的马尔可夫链，向量 Q = (1/ m ， …， 1/ m ) 
是平稳分布 . 

3.设 E = {0, 1} 是马尔可夫链的状态空间，而 

( ft 1 — a 、 ，、 

1， 0< a < l ， 0 < P <1 

1-/5 0 ) 

是其转移概率矩阵.讨论该马尔可夫链的，极限分布,遍历分布，平稳分布问题. 
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1. 有限链转移概率的渐近性质根据 §5定理6,任意不可约和非 周期的 、具 
有有限状态集的马尔可夫链，都是正常返的.这一事实使得有可能，给§6的定理3 
以如下表述 .( 对照§3的问题， A , B ， C 和 D ). 

定理1 假设 A： = (X n ) n ^o 是具有有限状态集五={1,2，.. •，r} 的马尔可夫 
链，并且是不可约的和非周期的. 

那么，如下命題成立. 

(a) 对于一切 j 存在不依赖于初始状态 i €五的极限值 TTj = Urn. 

( b ) 极限值 M = (TTl， … ，〜） 是概率分布，即 〜彡0, f TTi = l，j e £；• 

1=1 

(c) 此外，对于一切 j e E， 极限值 TTj = A 1 > 0,其中是首返状态 j 前度过 
的平均时间： 

= X ] = ⑴， 

n=l 

其中 T ( j ) = inf{n ^ 1 : X n =： j }. 从而， 數组 M = ( tti , • • • ,7r r ) 是遍历分布 • 

(d) 平稳分布 Q = (^1 ,*** >9r) 存在、唯一并且等于 ]n[ = (TTl， …，兀 r). 


. 284 • 


第八章形成马尔可夫链的随机变置序列 


2. 不可约性和非周期性对有限链的意义作为定理1的补充，我们引进如下定 
理，其作用体现在“不可约性”和“非周期性”上. 

定理2 假设 X = ( X n ) n ^ 0 是具有有限状态集五= {1,2,..- , r } 的马尔可夫 
链，并且是不可约的和非周期的. 

那么，如下命题成立. 

( a ) 链是不可约的和非周期的 ( rf = 1)； 

( b ) 链是不可约的，非周期的 (d = l ), 正常 返的； 

( c ) 链是遍 历的； 

( d ) 存在 n 0 , 使对于一切 n 彡 n 0 , 有 

濟心) > 0. 

证明蕴含关系 （ d )= Kc )， 在第一章§12定理1中已经 证明. 相反的蕴含关系 
( c )=>( d ) 显然.蕴含关系 ( a )=>( b )， 由§5定理6 可见； 而蕴含关系 （ b )=^ a ) 显然.最 
后，命题 （ b ) 与 （ c ) 等价，包含在§6定理3中. 口 

§8. 作为马尔可夫链的简单随机游动 


1. 简单随机游动 • 波利亚 （ G . Polia ) 定理 d - 维简单随机游 动指， 描绘“质 
点” 在格子的结点= {0, 士1，土 2，".} d 上运动的、齐次马尔可夫链，这是该“质 
点”可能以某一概率逗留在每一状态，也可能以一定概率转移 到相邻 的主题 之一. 

例1设 d = 1，而链的状态集为£ = Z == {0, 士 1, 土2,…}，其转移概率矩阵有 

如下 形式： 

I Pi j = i + l ， 

叫=卜 j = 

to , 其他， 

其中 p + g = 1. 

该矩阵对应于图 



它直观上描绘该链可能的转移. 

如果 p = 0,则指点 肯定向 左移； 如果 P = 1，则指点 肯定向 右移. 

这些“确 定性” 情形没有什么意义，况且这时的一切状态都是非本质的.因此, 

我们将假设0 < p < 1. 

在这样的条件下，链由一 个本质互通状 态类组成.换句话说，在假设0 < p < 1 
下，链是不可约的（见 §4). 
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从而，由 （1) 式可见 





(4pg) n 

(2) 

因此 

f>r : 

= 00, 若 p = qr. 

(3) 


n=l 

oo 




^p ( jj n) < oo, 若 ph . 

n= 1 

⑷ 

由这些公式和 §5 的定理 1 ， 得到如下结果： 


在集合 

: {0, 土 1 ， 土 2，...} 上的简单一维随机游动，若 p = g = 

= 1/2, 则是 


常返的和对称的；而若 P # t 则是非常返的 • 

在第一章 §10 曾经证明对于 p = q = 1/2 的情形，当 n 充分大时 


〜 v^- (5) 

因此 oo 

/ij = y^(2n)/j? n) = oo，j € E. (6) 

n=l 

从而，这时一切状态是常 返的和 零的. 因此根据§5的定理5,在一切0 < p < 1的情 
形下，对于任意 i 和 j ， 当 n — oo 时 pf — 0. 由此可见 （§6 的定理1)，极限分布， 
以及平稳分布和遍历分 布都不存在. 

例2 设 d = 2. 考虑对称的情形（对应于例1中 p = g = 1/2的情形)：质点向 
左、向右的、向上或向下移动概率都等于 1/4. 

为确定计，固定零状态 0 = (0,0). 假设开始处于零状态，并讨论“质点” 常返或 
者非 常返零 状态的问题. 

为此，我们讨论游动质点如下的那些“轨道”：质点向右移动《步、向左 i 步、 
向上 j 步和向下 j 步.假如+ 2 j = 2 n ， 则说明“质点”从零点出发，经过 2 n 步必 
然又返回该状态.显然，经奇数步“质点”不可能返回零状态. 

由此可见，从状态0仍然返回状态0的转移概率决定于下面的公式： 

^(2ri+l) _ n = 0 、 1 ， 2,… 
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2 


1 


0 


1/4 1 


图4〗平面上的游动 


且（由全概率公式） 

Poo n) = 

(亦见第一章§2第2小节). 

在 （7) 式中的和号下分式的分子与分母同乘以 （ n !) 2 ，得 

P ( oo ] = G) 2 n q„ =⑴ 2 " (C? n ) 2 , 


E 


(2 n )! 




(iW ) 2 



1 , 2 , 


其屮用到公式: 




0 


(第一章 §2 练习题 4). 


根据司特林公式，由 （8) 式可得义〜1，因而 

Jin 


E ‘) 


⑺ 



⑼ 


根据对称性，类似的论断，当然不仅对零状态成立，而且对于任何状态 h 力也 
成立. 

像 d = 1的情形一样，由§5定理1的公式（9)，得到如下结果： 

在集合 E = Z 2 = {0,士 1，土2，...} 2 上的简单双对称随机游动是常返的. 

例 3 结果表明，当3时，在状态 E = Z d = {0,士 1 ， 士 2 ，...} d 上对称随机 
游动，非常明显的不同于上面讨论的 d = 1和 c / = 2的情形. 

具体地说， 

在集合 E = Z d = {0,土1，土 2 ，...} rf 上的简单维对称随机游动，对于任意 
0 3是非常 返的. 
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• 287 • 


这一事实的证明基于如下 考虑： 对于 d > 3,当 n — oc 时，概率 pg " >有如下渐 


近式: 


/ T ) 〜 


。⑷ 


( 10 ) 


其中 c ( d ) 是某一依赖于维数 rf 的正常数. 

我们现在证明 d = 3的情形，而 d > 3的情形的证明留做练习题. 

由于随机游动对称性的假设，可见“质点”以概率1/6沿（空间3条）坐标轴4 

六个方向之一移动一步： 



假设“质点”从点 0=(0,0,0) 出发.那么，像 d = 2 的情形，由多项分布公式（第 


一章§2)，有 


(2n 

"00 




(2n)! 


2- 2n C5 n E 


⑹ 2 ⑼ 2 [(n — 



2n 


n! 


i\j\(n — i — j)\ m 


2 



2n 


^ C n 2- 2 "C5 n 3- n Y , 


n! 




i\j\(n — i — j)\ 



2n 


C n 2" 2n C? n 3- n , 


(ii) 


其中 


C n = max 


n\ 




并且利用了明显的 公式: 


E 


n! 




— i — j)\ 


iG) 


2n 


( 12 ) 


下面将要证明 


C n 


n! 


\( n / m 3 


(13) 




• 288 • 第八章形成马尔可夫链的随机变量序列 


运用司特林公式，由 （13) 式，可得 


C n 2- 2n C5 n 3 


3\/3 


2兀 3 / 2 几 3 / 2 


(14) 


因而，由 （11) 式，可得 

5ZPoo n) < 00 ( 15 ) 

n—l 


于是，根据§5的定理1，状态0=(0,0,0) 是非常返的. 由于对称性，对于£ = Z 3 中 
的任何其他状态，有类似的结果. 

只剩下证明 （13) 式. 


设 


m 




nl 


j)V 


而 io = *o( n )iio = jo ( n ) 的值满足 


max m n ( i ， j ) = m n (i 0 , j 0 ). 

(i ， )):0 彡 i+Xn 

取 4 个点 （io - l ， j 0 )，( i 0 + l ， jo )’( io，Jo - l)Uo + 1). 由于相应的值 m n ( i 0 - 
1, jo )， 饥 n(io + Wo )， m n ( io , jo - 1) 和 ( io.io + 1) 不大于 允)，可得 4 个不等式: 

ti — io — 1 ^ 2 jo < n — i 。+ 1， 
n -允一 1 < 2 i 0 < n - j 0 + 1. 


由这些不等式，可得 


沁⑻〜^ 


允⑻〜 


n 



由此得所要证明得 （13) 式. 

归纳所分析 d = 1,2,3的情形，得如下波利亚 （ G . Polia ) 的结果. 

定理 当 d=l 或 d = 2 时，在状态集五 = Z d = {0, 土 1, 土 上的简单对 

称随机游动是常返的，而当 4 = 3( 及 3) 时是非常 返的. 

2. 简单随机游动的例（五 CZ d , d = 1) 上面的例子讲的是，在“整个”空间 
中的简单随机游动.在这一小节，将要讨论的简单随机游动，其相 空间五 严格包含在 
之内.这里，我们讲局限于 d = 1的情形. 

例4 考虑简单随机游动，其相空间五= {0,1,2,...}, 其中状态0是吸收的， 

而其转移概率如下图 所示： 
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这里，状态0是正常返状态，并且构成唯一不可约子类.（其余状态都是非常返 
的 .） 根据§6的定理2,存在并且唯一平稳分布 Q (如，”，•••），如= l，(/i = 0 (i = 
1，2,…). 

所考虑的随机游动直观上提供了一个 例子： 对于某 i 和 j ， 极限 hmp ^ 存在， 
但是依赖于初始状态，同时说明在此随机游动的例子中不存在遍历分布 1 

显然， P 。） = 1，而对于 j = 1,2,.••， pg ) = 0. 经简单运算，可见对于一切 
iyj = 1，2,…，4) — 0. 

现在证明对于一切 i = 1,2,…，极限 a ( i ) = limpid 存在，并且对其有如下公式: 


cx ( i ) = 



P > 1 


(16) 


由该式可见，对于 p 〉 g 的情形（“有向右运动的倾向”)，由状态 i(i = 1，2,…) 
向状态0转移的极限概率= lim ^ 0 n \ 事实上依赖于 i ， 并且随着 i 的增长以几 

何的速度减小. n 

为证明 （16) 式，首先注意到，由于状态0是吸收状态，故 pf = I ： /^，从而 

k^n 

极限 a(i) = lim^^ 存在，并且等于 /i 0 , 即概率 a(i) 是 “ 质点”由状态 i 出发，迟早 
到达状态“零 7 ’ 的概率.对于这些概率，在第一章§12 (亦见第七章 §2), 当 a ( i ) = 1 
时导出了递推公式： 

q(z) = pa(i + 1) + qa(i — 1). (17) 

该方程的通解为 

oc(i) = a + b{q/p)\ (18) 

而由条件 a (0) = 1,可见常数 a 和6满足条件 a-f 6 = 1. 

如果假设 (? > P, 则因为 a(i) 有界，立即得6 = 0,所以 a(i) = 1. 这一结论十分 
清楚，因为当 g > p 时，“质点”有沿到达零状态运动的倾向 • 

假如则情况相反：有向右移动的倾向，且自然想到 


a ( i ) — 0， i — oo , 


(19) 


即 a = 0，而 

a(i) = (g/pY- (20) 

为证明该等式，我们并不先证明 （19) 式,而是通过其他途径 • 

除在点0的吸收屏幕外，我们在引进在点 iV 的吸收屏幕•以 a N ( i ) 表示，从点 
i 出发的“质点”，到达状态0早于到达状态 iV 的概率.概率 a N ( i ) 满足边界条件为 


a "(0) = 1 ， a N (N) = 0 
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的方程（17)，而且在第一章§ 9 己经证明 

^ v ( i ) = W ’ 0 < i 彡 N . 

• 1_ G) 

由此可见 lima N (0- ( q / p )\ 从而为证明 （20) 式的结果，只需证明 

/V 

a ⑴= : limayv(0. 

这在直观上很清楚.严格的证明有如下一些途径. 

假设“质点”从固定 i 状态出发.那么， 


(21) 


( 22 ) 


a(0 = P ⑽， 


(23) 


其中4是事件 “ 存在； V ，使由 i 点出发的 ‘ 质点’到达状态0早于到达状态 iV 如 
果 

A = [‘质点”到达状态0早于状态 iV }， 

则欠 = (J Aj ^. 显然， G 4/ v + i , 且 

yv = i+i 


Pzl u An 


lim Pt(Aj\). 


(24) 


因为 a N {i) = Pi(A^), 所以由 （ 23) 式和 （ 24) 式，立即得 （ 22) 式. 

这样，如果 p 〉 g ， 则极限值 limpid 依赖于 i . 如果则对于任意 i ， 极限值 

lim ^^ = 1，且 lirn ^ n ) =0, j ^ i n 于是，在这种情形下存在不依赖于 i 的极限分布 
)n(= (7T 0 ,7T! ，…) ，其中〜= lirnp ^ n ) . 这时) n[ = (1， 0,0,...). 

例5考虑简单随机游其相空间五={0，1，… .， W }, 其中“边界”状态0和 
N 是吸收的： 



N -1 


0<p<\ 


这里，存在两个不可约的正常返类： {0} 和 m , 而所有其他状态类 I ， 2 ,-1 
都是非常返的.由§6定理2的证明可见,存在平稳分布 Q =( 如，仍，… , Qn ) 的连续 
统，且其平稳分布都具有如下形式：仍=…= qiw-\ = 0 t ^o = a,q N = b,a ^ 0,b ^ 
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根据第一章卟第 2 小节.有 



iiiupjf = 1 - linip ^ 1 ) 和 = 0,1 ^ j < TV - 1. 

n n n J 


(25) 


需要强调，这里及前面例子中，极限值 Wm ^ 依赖于初始状态. 

例6 考虑简单随机游动，其相空间 {0,1,...} ,且在状态0是反 射壁: 


0<p<\ 



所考虑的链本质上依赖于 P 和+ 

如果/> > A 则游动的“质点”有向右移动的倾向.而在“零”状态存在反射壁的 
情形，与例4中游动相比仅仅在于，对于例4的情形在“零”状态可以越过“壁障”. 
这是全部状态都是非常返的；对于一切€ E y p )] l) — 0 ，n — oo ; 平稳分布和遍历 
分布都不存在. 

如果 p < g , 则游动的质点有向左移动的倾向.这时，链是常返的.当 p =《时链 
也是常返的. 

现在给出平稳分布 Q =( 如，^，…）应满足的方程组（对照§6的 （12) 式)： 


Qo = Qiq. 

q\ =Qo + q2q 、 

Q2 = ⑽ + Q3Q, 


由此，有 

Qi = Q ( Q \ +奶）， 

Q2 = Q(Q2 4 - q3 )， 


于是 


Qj = 0 Qj-u j = 2,3，“. 
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假如 P = (? ，则 W =仍= ... ，从而方程组没有满足条件 

00 

XI% = 1 ， 90 = q\q 

i=i 

的非负解. 

这意味着，当 p = (? = 1/2时不 存在平 稳解.这时链的全部状态都是常 返的. 
最后，设 p < 士由条件£ % = 1，可见 

j=0 



因此 

而 

例7 
壁： 




考虑简单随机游动，相空间为 ^ = {0,1,.*. 、 N }, 而状态0和 AT 是反射 




0<^Kl 


这里，链的状态是一个不可约类.状态是周期为 d = 2的正常返的.根据§6的 
定理2,该链有唯一平稳分布 Q =( 如 ，仍， ••• 在条件 

OC 

Qj ^ 0, j € E , 

i=0 

下，解方程组％ E Qipij , 得 

i =0 




1 O 彡 iV — 1， 


(26) 


而如 = QlQ^QN = qN-lQ - 

由 §6 的定理3,以及所考虑链的周期为 d = 2、 可见遍历分布不存在.可以直接 
得出结论，这里无遍历分布.例如，对于 iV = 2 



. 作为马尔可夫链的简单随机游动 



那么，易见 pi 2 x n) = 1,而 = 0. 因而 limpi 2 ； 0 不存在.与此同时，由 （26) 
式可见，平稳 分布： n 

Q =(如 41 ，分 2 )， 

并且具有如下形式： 

1 1 1 
Q0 = q\ = 孓， Q2 = 2^* 

3. 利用简单随机游动描绘现实物理过程的示例书中叙述的资料表明，简单随 
机游动是一个经典 模型. 基于这一模型，“精练了”概率的思想体系，使得概率的技 
术更加完美，发现了许多概率-统计的规律性.例如，考虑只有两个可能值的伯努利 
随机变量0，《2, … 之和 A = 6十…+心，从而 ，X = ( X n ) n ^ 是简单随机游动 
(也是马尔可夫链).基于 X = (X n )n>l, 发现了许多规律性，诸如，大数定律（第一章 
§5), 棣莫弗-拉普拉斯定理（第一章§6)，反正弦定律（第一章 §10), 等等. 

在这一小节，我们考虑两个离散扩散模型，它们是“利用简单随机游动、如何反 
映现实的物理过程”的很好示例. 

A . 埃伦弗斯特 （ P . Ehrenfest ， T . Ehrenfest ) 横型 

像例7 —样，我们将考虑简单随机游动，假设其相空间为五={0,1，…， N }, 且 
在状态0和 AT 各有一个反射壁. 

在状态0和 iV 的转移概率为 poi = 1和= 1. 在其余状态 i == 1， • • • - 
1, “质点”只可能以概率 

J 1 一务 H + 1 ， m 、 

扒叫 i A • (27) 

U ， ，… 1 

向左或向右移动一步. 

在1907年 P . 埃伦弗斯特和 T . 埃伦弗斯特 [124], 在研究统计力学的一种模型 
时，得到了具有上述转移概率的马尔可夫链.这一统计力学中描绘气体分子的模型 
是： 仪器有两个（封闭的）箱子 A 和 B ， 由薄膜连接在一起，气体分子由一个箱子 （A 
SB )， 通过薄膜的（微）小孔移动到另一个箱子 （ B 或 A ). 

假设在所观察的两个箱子中，分子的总数等于 N ， 且每一步从一个箱子向另一 
个箱子的移动是以如下的方式积极地进行的：以概率 1/ W 随机地选一个分子，使它 
转移到另一个箱子；并且每一步欲转移分子的选取，与过去的“历史”无关 • 
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设是这样分子的 个数： （例如）分子一 “幵始”于时刻 n 在某一个箱子 A 中， 
为描绘分子的移动的机制有马尔可夫性（练习题 2): 

P { X n+ i = j \ X 0 = H = ii ， … , A r n _i = i n -\, X n = i ) 

^ P { X n ^= j \ X n = i }, (28) 

此外， 

P { X n+ i = j \ X n = i } = p t j ， (29) 

其中⑼ 由 （27) 式 决定. 

对于该模型存在由如下二项公式 

么⑴' 卜 0 山 …， N (30) 

决定的（练习题 3) 平稳分布 Q = (抓化…，伙).这里所有考虑的链是常返的（练习 
题 4). 

需要指出，例如当 7 V 为偶数时.概率 ％ (j = 0，1，... ， N ) 在“中间”值 AT /2 上 
达到最大值,这恰好对应于最可能的“平衡”状态，即这时两个箱子中的分子数 相同. 

可以想到，这样建立的随时间的“平衡”，带有（由上面引进的分布 Q 描绘的）概 
率-统计特点. 

我们还要指出，在直观上分子的数量随时间“稳定的”可能性十分明显：状态 i 
离“中心”值越远，（由于 （27) 式）向该值方向运动的概率就 越大. 

B . D . 伯努利-拉普拉斯模型 

考虑在一定意义上与埃伦弗斯特模型类似的模型.该模型是 D . 伯努利 （1769 
年）提出的，后来拉普拉斯 （1812 年）在描绘 不可压 缩液体（而不是质点）过程时提 
出来的. 

更精确地说，有两个样品箱 A 和 B ， 含有 27 V 个质点，其中 iV 个质点是“白色” 
的，而另外 iV 个质点是“黑色”的. 

称“系统”处于状态 i , 其中 i e 五={0，1，… , N }, 如果在箱 A 中恰好有 i 个 
“ 白色” 质点和 N - i 个“黑色’’质点.假设“不相容性”是指，对于所观测的状态 i , 
在箱 B 中有 iV - i 个“白色”质点，有 i 个“黑色”质点.每箱中质点的总数保持为 
常数，并且等于 iV . 

在每一步 n , 从每箱中 随机地 （即以概率 1/ iV ) 选一个质点，并且这些点改变位 
置.假设这一（随机）从箱中选择质点的过程是独立进行的，并且以后的选择按同样 
的模式进行，而且与以往的阶段 无关. 
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以表示 A 箱中“白”色质点的个数.那么，质点变换的机制导致马尔可夫 
性 （28) 的成立，这是 （29) 式中转移概率 py 决定于如下表达式（练习题 5): 

j = i-h 

(31) 

j = h 

其中 Pij = 0, 如果 \ i - j \ > l,z = 0, l ,... ,7 V . 

像埃伦弗斯特模型一样，这里的所有状态也都是常返的.平稳分布 Q = ( 如， 
(71, ••- ，伙）存在而且唯一，并且由如下公式表示（练习题 5 ): 

幻 J =0，1，.. •，见 （32) 

4. 现实物理过程的示例（更加复杂的情形） 在这一章的开始曾经指出，这一 
章的基本内容是，“(随着 n 的增长）无后效系统的渐近性质”，上一节内容表明，研究 
的是，具有可数状态集 E = {0,1,…， W ，• • • } 的马尔可夫链的，转移概率抑当 n 充 
分大时的性质，包括简单随机游动，转移只可能发生在相邻状态之间的 情形. 

很重要的是，对于具有更加复杂状态空间的马尔可夫链研究类似的问题.关于 
这类内容，例如可以见 [75], [117]. 〆 

5. 关于术语“离散扩散模型”的说明 上面讨论的两个模型（埃伦弗斯特模型 
和伯努利_拉普拉斯模型）曾称之为离散扩散模型. 

现在关于这一名称做一些说明，为此考虑 R 中随机游动的极限 性质. 设 A = 
0 … n > 1， So = 0, 其中 6 ，& ，… 是独立同分布随机变量序列，且 E 心 = 0, 

D 心 = 1 .设；^ = 0, 而 



显然，序列 （ 0, X^ /n , 可以视为在时刻 △ ， 2△ ， … ， 1 ， 其中 A = 1/n ， 跃 

度的量级为- 的简单随机游动. 

像在第七章§8注4己经指出的那样，这一随机游动 P 的全部有 

限维分布，弱收敛于维纳过程（布朗运动 ） W = ( W t ) o ^ i ； 此外，在第七章§8注 4 
中还指出，函数收敛性也成立，即过程 X 71 之分布向过程 VV 之分布的弱收敛（收敛 
的意义，仍然是经验过程向布朗桥的收敛性；见第三章§13的第 4 小 节). 维纳过程 
是扩 散过程 典型的（并且是基本的）例子（见[69, V . II ]，[叫， [131]). 这一事实恰好说 
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明， X "类型的过程，以及出现在埃伦弗斯特模型和伯努利-拉普拉斯模型中的，过 
程为什么称为离 散扩散 模型. 

6. 练习题 

1. 利用如下概率的思想 （[106), 题 27.18), 证明斯特林 公式： n ! 〜 . 
设 + + 彡 1), 其中 X !, X 2 , -- 是独立且服从参数 A = 1 的泊松分 

布的随机变量.依次证明： 


( a ) 









9 鑭 

—► Law A^"j , 


其中 iV 是正态分布的随机 变董; 






担' 



n! 〜 V2jtn n ^h- n . 


2. 证明马尔可夫性 （ 28) 式. 

3. 证明 （ 30) 式. 

4. 证明埃伦弗斯特模型中马尔可夫链的所有状态都是常返的. 

5. 验证 （ 31) 式和 （ 32) 式的正确性 ♦ 


§9. 马尔可夫链的最优停时问题 


1. 这一 节的基本内容下面讨论的 内容， 与第七章§13紧密衔接，这部分阐述 
任意 随机序列的、最优停时问题求解的“鞅”方法.这一节的基本内容，涉及 由马尔 
可夫链之状 态的函数产生的随机 序列， 可以赋予第七章§13的结果简单而直观的形 

式和解释. 

2. -步转 移算子 假设 X = (X n ^ n ,P x ) 是具有相空间（五，篆）的、离散时 
间齐次马尔可夫链. 

亦假设⑴，，）是坐标空间（见§1的第 6 小节)，而 Xn = X n ( u)),n ^ 0,是定 
义在 ( Q ,^) 上的随机变童，并且 Xn = XnM 本身是以坐标的形式给定的：如果 
uj = ( xo , rri ， …）€ 则 = x n ; 这里 f 理解为 代数:少" = J ( U ^ n )， 其 

中 = ♦()，••• , x n ),n ^ 0. 
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注在“最优停止规则的一般理论中”完全不要求 1) 是坐标空间.然而，就是在 
“一般理论中”仍然需要假设 n 是充分“丰富’’的（详见 [78]). 

对于我们来讲，假设“坐标性”可以简化讨论，特别对于广义马尔可夫性情形 （§2 
定理1)，正是在此假设下进行的. 

像上一节一样，以 P ( x : B ) 表示所考虑的链的转移 函数： P ( x ; B ) = P x { X , € 
B},xe E,B e ^. 

设： T 是作用于 f -可测函数 / == /(X) 的一步转移算子， 

(Tf)(x) = E x f( Xl ) {= J E _ P ㈣ y、) 、 ⑴ 

假设其中 E x |/( x !)| < oo ， xe £. (为简便计，记号 ( Tf )( x ) 往往写成 Tf ( x ). 在其他 
相近的情形下，也采用类似的约定 .） 

3. 最 优停时为表述马尔可夫链 X 的最优停时问题，假设给定某一 可测 

实函数9 = g ( x ), 满足 条件： E x | y (. x n )| < oo , xeE , 对一切 n 彡0 ( 或0 < n 彡 AT ， 如 
果 事先存 在某个‘•最后的”值#，而且在 7 V 之前应得到“最优解”). 

以哪表示（关于过滤 （，/ Ockkn 的）马尔可夫时间 r = r ( o ;) 类，且 在“停 
时”集合 {0, 1, • ■ • , fi ] 上取值. 

下面的定理是，第七章§13中定理1和定理2的“马尔可夫”提法. 

定理1 设对于0彡 n 彡 7 V 和 xeE ， “(价）值”为 

5 n ( x ) = sup E x g ( X r ) y (2) 

re an ;; 

其中 Ez 表示对测度 Pz 求平均. 

假设 

To = min {0 ( k < n : s n ^ k { X k ) - ^( X fc )}, (3) 

而 

Qg { x ) = max {^ f ( x ), Tg ( x )}. (4) 

那么，下面的命題成立， 

1) 时间咕在类刃仿中是最优停时：对于一切 xeE , 

Ea ^ X ^ y ) = S n (x). (5) 

2) 函数 s n { x ) 可以按如下公式来求： 

s n { x ) = Q n g { x ), xe E , ( 6 ) 

其中对于 n = 0, Q ° g ( x ) = g ( x ). . 

3) 函数 s n ( x)(n ^ N ) 满足递推关系式 （ So ( x ) = g ( x )) : 

^ n (^) = max {^ f ( x ), r .$ n « i ( x )}, x € E , 1 ^ n ^ iV . (7) 
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证明将第七章§13定理1和2的结果，用于函数 / n = g(X n ) y O (n<N. 
为此固定某个“初始”状态 x € E ， 并且考虑上面提到的§13中引进的函数 V ， 
和 < v . 这时，为强调与初始状态有关，我别使用记号 V ，= V n N (x). 这样， 

V^(x) = sup E x g(X r ), (8) 

, r€Wl^ 

其中刃 ^ 表示（关于过滤的）所有马尔可夫时间 r = r ( o ;) 类，且在“停 
时”集合 {n,n + l ， … ， iV} 上取值. ’ • • _ 

由于第七章§13的 （6) 式，函数 t ； t 决定于如下递推 公式： 

fjv = 9、 X N 、、= max [g{X n ),E x {v ^ +l \^ n )}. ⑼ 

由于广义马尔可夫性 （§2 定理1)， （ P z - a . c .) 有 

E x (^|^^ i ) = E x (g(X N )\^ N ^) = E XN _ l g(X l ), (10) 

其中 Eu (&) 应作如下理解（见 §2): 取函数 怜）= E x g(Xi), BP rP(x) = (Tg)(x), 
而根据定义认为 

Exat - iP (^ i ) = 少、 Xn — i ) = (Tg)(XN^\). 

这样，4=9(知)，而 

vh = max[^(^ i v_i), (T^)(X ； v_i)] = [Qg){X N -i). (11) 

类似地继续推导，可见对于任意0 < n < 7 V - 1，有 

< = (Q N - n 9)(X n ), ⑽ 

特别 

= (Q N 9)(Xo) = (Q N 9)(x), (P x ^ a . c .). 

根据第七章 §13 的 （13) 式， < =< •由于 # = V 0 N (x) = s N ( x ), 可见 
s N (x) = (Q N g)(x). 于是，对于 n = TV 就证明了⑹式.类似地，对于 tz < JV 可以证 

明⑹式. 

由 （6) 式和算子 Q 的定义可得（ 7 )式. 

现在证明，当 n ：= iV 时，由 （3) 式定义的停时 rf 在类职俨中是 最优的 • 同样， 
对于 n < 丁 S 在类刃咕中 也是最 优的. 

根据第七章§13的定理1，最优停时为 

Tq = min {0 ^ k N : = g(Xk)}- 

由 （12) 式以及上面证明的事实：对于任意 n > 0,5 n ( x ) = (Q n 9)(x), 可见 

< = (Q N ^ k 9)(X k ) = SN-k(Xk )， 


(13) 




从而 
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t 0 n = min{0 < fc < iV : s N . k (X k ) = g{X k )}. (14) 

于是，停时 寸 在类 VJlf 中的最优性得证. 口 

4. 停止区域和继续观测区域记 

= {x G F : SN-k(x) = 芬 ⑻}. (15) 

C 1 ^ - E \ Bj^ = {x e E : syv-fc ( 工） > g(oo)}. (16) 

那么，由 （ 14) 式，可见 • 

= min{0 ^k^N: X k {u) e 邮}， (17) 

而与第七章 §13 的第 6 小节引进的、中的集合和 Cf 类似，集合 

C...CD^ = £, (18) 

Cb v 2Cf 2".2Cj^0 ， (19) 

可以相应地称为 £ 中的 “停止”区域和“继续”观测区域. 


我们指出，所讨论的马尔可夫链的最优停时问题的特点.与一般情形不同，在 
马尔可夫链的情形下，对“停止观测还是继续观测”问题的回答，决定于马尔可夫链 
本身的状态 (^M = min {0 : X k ( u ;) G D ^}), 换句话说，决定于游动的 

“质点”所处的位置.这时，从原则的观点出发，最优停时问题的完全解决（即描绘 
“(价）值” s N ( x ) 和最优停时 T ，)， 在于从递推“动态规划方程”⑺ 式依次寻找函 

数 s 0 ( x ) = g ( x ), 51(3；)，…， sn ( x ). 

5•类中的最优停时设是一切有限马尔可夫停时类.现在，在假设 
r € fmg ° 的条件下,讨论最优停时问题.(对于所有0； e fi , 当 T e 时，停时 T 彡 iV ; 

当 r e 9 JJg ° 时，停时 t = r ( o ;) < oc .) 

这样，假设“(价）值” * 

. s ( x ) = sup E x g ( X r ). (20) 

为使这里不出现数学期望 E x 9 ( X r ) 的存在性问题，例如可以假设 

, 

» - 

E x supg ~( X n ) < oo , x e E . (21) 

n 

显然,这样以来，该式一定成立，如果函数 p =咖) 有界 (\ g ( x )\ ^ C,xe £); 特别， 
如果链的状态空间 有限， 则条件 （21) 成立. 

由“(价)值” W ⑷和 咖） 的定义，可见对于一切 X 6 E ， 有 


Sn{x) ^ SAT+1 ⑷ 彡…彡 s { x ). 


( 22 ) 


第八章形成马尔可夫链的随机变量序列 


自然，应想到等于 s ( x ). 而假如是这样，则在⑺式中求极限，将要得到 
的“（价）值” 应满足方程： 

s ( x ) = max { g ( x ) , Ts ( x )} > x e E . (23) 

顺便指出，由该方程可见，对于 . s ( x),x e £，有“变分不等 式”： 

s ( x ) > g { x ), (24) 

s ( x ) ^ Ts ( x ). (25) 

% 

不等式 （24) 说明，“(价）值 ” s ( x ) 是 〆 x ) 的控制函数.第二个不等式 （25) 说明，根 
据马尔可夫过程一般理论的定义，函数 s ( x ) 是峰态的或上调和的. 

这样，假如可以证明函数咖）满足 （23) 式，则可以得出结论，“(价)值”咖）是 
g { x ) 峰态强 函数. 

我们现在指出如下情形.假如某一函数是函数 〆 a ：) 峰态强函数,那么显然 
有“变分不等 式”： 

v ( x ) ^ max {^ f ( x ), Tt ;( x )}, x £ E . (26) 

不过，结果表明，如果补充假设，函数 I ，(: r ) 是最小峰态强函数，则在 （26) 式中将 
是等式，即 t ； Or ) 满足 方程： 

v ( x ) = max { gf ( x ), Tv ( x )}, x e E . (27) 

引理 1 函数 g { x ) 的任何最小峰态强函数 v ( x ), 都满足方程 (27). 

证明证明相当简单.显然 v (: r ) 满足不等式 （26) .记 t ? i ( x ) = max {^( x ), Tt ;( x )}. 
由于 w (: r ) 彡夕 ( x ) 和 v 1 ( x ) < v ( x ) y 可见 

Tv \( x ) < Tv ( x ) ^ max {^( x ), Tt ;( x )} — ^ i ( x ). 

从而是 〆 : r ) 的峰态强 函数. 由于 v ( or ) 是最小峰态强函数，故 v ( x ) 彡 vi ( rr )， 即 
v ( x ) < max {^( x ), Tv ( x )}. 于是，这连同不等$ (26) 就证明了等式 (27). □ 

所进行的基于假设 . s (: r ) = J ^ s N ( x ) 的预先讨论,并且导出了 （23) 式，以及引 

理1的命题提示表征“(价） 值” 径，看来咖 ） 是函数 〆X )的最小峰态强函数. 
而事实上确有下面的定理. 

定理2 设函数 g = g ( x ) 满足条件 (21): 

• ， 

E r supg ~( X n ) < oo ， x e E . ， 

n 

b m 

那么，下列各命题成立： 

( a ) 价值 s ( x ) 是函數 Wa :) 的最小峰态强函數. 
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(b) 价值 s(x) 等于 lim s N (x)- lim Q^g(x), 并且满足“瓦尔德-贝尔曼 （ A. 

N—*oo N—oo 

Wald - R. E . Bellman) 动态规划方程” 

s(x) = max{g(x), rs (. x )}, x G E. 


( c ) 如果 


E x sup |^( A r n )M < oc , x e E ， 


则对于每一个 e >0, 停时 . 

t : : inf{n 彡 0 : s ( X n ) 彡 g ( X Tl ) e } 

在类中是最优的，即 

s ( x ) - ^ E x g ( X T ^)^ X e E . 

如果 P. r {Ty < oc } = 则是最优的 （0 - 最优的).即 

s ( a :) = E x g ( X T{： ), xe E . (28) 

( d ) 如果集合£有限，則停时 t 0 * 属于 OT §°, 并且是最 优的. 

注完全可能，对于某个状态€ £，停时 tJ = inf{n ^ 0 : s ( X n ) = WXn )} 以 
正概率等于 + oo , P ,{ r 0 * = og } > 0. (甚至有可能对于可数个状态出现这样的 情形; 
练习题 1.) 因而，需要约定，在“值 Xoc ” 无定义的情况下，应如何理解“停时 t 取 
+ oo 为值 

常规定 g ( Xoo ) = \ img ( X n ) (见第七章 §13 第 1 小节； 亦见 [78]). 还有其他可能 

的解决办法：用 g ( X T ) I(r < oo ) 代替 ^( X T ). 那么，如果以表示一切马尔可夫 
时间类，其中有可能包含取 + oo 为值者，则“(价）值” 

▲ 

s { x ) = sup Fi x g(X r )I(T < oo ) (29) 

有定义.从而，就可以在类面中讨论最优停时问题. 

定理2的证明 我们仅对于有限集合 E 进行证明.这种情形比较简单，而且可 
以很好地在最优停时问题中显示峰态函数的产生.关于一般情形的证明，参见1781， 

_• 

( a ) 证明 s ( a :) 是峰态函数，即 s ( x ) 彡 Ts ( x),x e E . 

显然，对于每一个状态 2 / € £和£ > 0,存在（一般依赖于 e > 0的 ） （P - a . c .) 

有限的停时使 

E y ^( X T|y ) ^ s(y) — e. (30) 
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根据这一停时 e £；， 建立一新停 时？： 形象地说，使之决定下一步选择 “ 停时” 
的“策略”. 

假设开始时“质点”位于状态 £. “质点”在此状态不会“逗留”，然而却实现了 
一次观测.设在时刻 n = 1，“质点”处于状态 yeE . 那么，由 f 表征的“策略”在 
于，认为“质点的生命”仿佛重新开始，而决定其停止的规则，由停时 r y 控制. 

而停时？形式上由如下方式决定. 

设 y € E . 考虑事件 { u ； : Ty(u) = n},n ^ 0. 由于 r y 是马尔可夫时间，则 
该事件属于 ^ n . 假设 ft 是由序列 a ; = ( Xoa ， …)，& e 五，生成的坐标空间， 

而罗= a ( u ； : : r 0 , … yX n ),x e E . 由此可见，集合 { u ; : Ty{<jj) = ? i } 可以写成 
{ a ; : ( X 0 ( u ；), • * • , X n ( u ；)) G B y ( n )}, 其中 S w ( n ) 是 ^ n+1 = ^ ® ••• ® 裏 (n + 1 个篆) 

中的某个集合.（亦见第二章§2的定理 4.) 

停时 f = f ( a ;) 是这样定义的，其值形如 n + l ( n 彡0)，这时，在集合 

A n ^Y.{ u: AM =2/ ， (XiM ， … ， 1+ 咖 )）€ B y (n)} 

上，？ ( a ;) = n + 1. (直观上，关于停时 f 可以作如下说明：对于任何状态: r ， 在时刻 
n = 0肯定进行 观测； 假如这时 X , = y ， 则下一步使用停时 T y .) 

由于 E = 0,则停时 ？ = 确实对于一切定义，并且是马尔可夫 

n^O 

的(练习题 2). 

由此构造,广义马尔可夫性 （§2 中 （2) 式）和 （30) 式可见，对任意 xeE 、 有 
E x g ( X r ) = Y , E E = y ，( Xi ，… , X n+1 )€ B y ( nlX n+l = z } g ( z ) 

n^O y^E z^E 

= 〉: > 二〉 : PxyP j/{-^0 ~ Vt ( 叉 0, • • • ， A n ) G X n = 2}^(z) 

a^O y^E z^E 

= 》:〉:〉 : PxyPj /{(-^0 i * * * ?-^ n ) ^ X n = Z ^ g ( z ) 

n^O y^E z^E • 

=PxyE y ^(X T J > Pxy[s(y) - 4 = Ts(y)-e. 

y^E yeE 凌 

这样， 


s{x) = E x g(X ? ) > Ts{y) - e y x e E, 

而由于 e >0 的任意性，有 


s(x ) 彡 Ts(x) y x e E, 

因此函数 s = s ( x),x e E 的峰态性得证. 

由上面证明的峰态性（上调和性)，立即可以得到下面的重要结果. 
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系1对于任意过程（序列） 

S = (s(X n )) n ^o ( 31 ) 

(关于 Pz _ 概率）是上鞅. 

将由第七章§2的定理1用于该 上鞅， 可见对于任意停时 T e 有如下不等 

式： 

s ( x ) > E x s { X r ), xgE , (32) 

而且，如果对于中的两个马尔可夫停时 a 和 t , 有 a 彡 r ( P x - a . c .， a : €五)，则 

E x s(X a ) > E x s ( X T ), xeE . (33) 

(注意，由于空间 E 有限，故对于所考虑的情形，上述第七章§2定理1的所有条件都 
成立) • 

由 （ 32) 式，得 

系2假设对于 （20) 式的最优停时问题，函数 0 = g ( a :)，: r €£， 是峰态的（上鞅 
的).那么，停时三0是最优停时 • 

( b ) 证明 5( x ) = e E . 

因为 sn{x) ^ Sn + i ( x ), 所以极限 li ^ iSiv ( x ) 存在，记作 5( x ) •由于£有限，且对 
于 s n {x)(N ^ 0), 有递推关系式， 

sn{x) = max {^( x)，Tsyv 一 i ( rr )}， 

则当 TV — > oc 时求极限，得 

I(x) = max{^(x),7 > l(x)}. 

由此可见， S ( x ) 是函数贞幻的峰态强函数.但是，由于 5( x ) 是最小峰态强函数，可 
J)[L 5 ( x ) < s ( x ). 此外，由于对任意 AT ^ 0,显然 s N ( x ) ( s { x) y 可见 5(: r ) < s { x ). 
这样笥 x ) = S ( x ), 从而证明了欲证的定理2的命题 （ b ). 

(c,d) 证明命题 （ c) 和 （ d). 最后，证明停时 

Tq = inf{n ^ 0 : s ( X n ) = g ( X n )}, (34) 

即 

r 0 # = inf{n ^ 0 : X n € D *} ? (35) 

首达 （停时）集合 

D * = {x G £ : s ( x ) = P ( x )} (36) 

的时间，（在集合 E 有限的情形下）在类职8°中是最优的. 
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为此，首先注意到，由于满足 g ( i ) = maxg (. r ) 的2肯定属于可见 W 不空. 

xCE 

由于在状态 i 下= g { x ), 则显然在最优策略应 该是： 在状态5下立刻“停止”. 
也正是这一点决定了停时埒. 

为从类 OTt 中最优的角度考虑停时 <，首先需要断定此时间 rj 属于类 
即 

P x {to < 00 } = 1, rr € £. (37) 

由所作关于状态集合 E 有限性假设，确实可以证明这 一点. （对于状态集合五可數 
的情形，一般己经不是这样；练习题 1). 

为了证明上述事实，我们指出，我们感兴趣的事件{埒== 00} 等于事件 

A = f |{ X n ^ D *}. 

n^O 

这样，需要证明对于一切 X e £；，有 P x ( A ) = o . 

如果 AT =£,则这显然. 

设 ID * #五.由于 集合五 有限性，存在 a > 0,使对于一切 y 6 E \ B % g ( y ) ^ 

s ( y ) - a . 

那么，对于任意 t G OJIg 0 , 有 

oo 

E x 分 ( AV ) = Px{ T — h , A n = yjg ( y ) 

n =0 y^E 

= Px ^ T ^ 7hXn = 咖⑼ + E E = n, x n = y}9(y) 

n =0 y € D # n =0 y ^ E \ D ^ 

00 QQ ^ 

Px ^ r ^ n ^ X n = v } Hv ) + S ^ x{r = n , X n = y }[ s ( y ) - a ) 

n =0 n =0 y ^£\ D # 

< E x 5 ( X t ) - aP x ( A ) ^ s ( x ) ^ aPi ⑷， （38) 

其中最后一个不等式，由函数的峰态性（上鞅性)，以及对其成立的不等式（ 32 ) 
得到.在 （38) 式左侧对 t € ang ° 取上确界，得不等式 

s ( x ) $ 5( x ) - aP x ( A) y x e E . 

但是 \ s ( x )\ < oc,a > 0. 因此 P X { A ) = 0, x € 五，从而就证明了停时 r 0 * 的有限性 • 

现在证明停时埒在类职8°中的最优性 • 

根据埒的定义 

s ( X T{： ) = g ( X T： ^ (39) 

鉴于这一性质，我们考虑函数 7( 幻二 E xP ( X ro .) = E x s ( X r ^). 下面证明这一函数 

7( x ) 
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1) 是峰态的； 

2) 控制函数 g ( x ) : g ( x ) ^ ^( x),x € E \ 

3) 7(^) ^ 沒⑻， 

其中最后一个不等式显然. 

由 1) 和 2) 可见， 7( 幻控 制函数同时又是函数 9(4 的最小峰态强函数.因 

此，由 3) 可见 7(^) = s { x),x e E , 从而 

s ( x ) = E x g ( X r：i ), xe E 

由此可证^在类中的最优性. 

现在来证性质 1) 记〒= inf{n ^ 1 : X n € D *}. 该时刻是马尔可夫停时, 
r 0 * ^ r,r € 由于函数 s(rr) 是峰态的，故由性质 （ 33) 得 

E x s(Xr)^E x s(X r<; ) y xeE, (40) 

此外，由于广义马尔可夫性（见 §2 定理 1 的 （ 2) 式)， 可见 

oo 

E x s ( X ^) = [ [ Px{^i ^ B \^^ X n , l iB \ X n = y } s ( y ) 

n=l y€D ,# 

= =2/}5(2/) 

n=l z£E 

= Y,Psz^zS(X r ^). (41) 

z^E 

因此，由 （ 40) 式，可见 

E x s(X r *) ^ : Pa:eE z s(X T * ), 

z£E 

即 

7(^) ^ 7 ⑷， x € E 、 

z^E 

这就证明了函数的 7( 幻峰态性. 

只剩下证明函数 7(4 是 Wx ) 的强函数. 

如果 : r € D *， 则 = 0,且显然7(工）= ^ x 9 i X r *) = g {^) - 

考虑集合 E \ B * y 并且设 = {x e : 7 ( x ) < ^( x )}. 这一集合是有限 
的.设: rS 是函数 g ( x ) - 7 ( x ) 在集合说上的极大值点： 

P(:S) - 7(:5) = [g(x) - 7( 工 ) 1. 

引进一新函数 

7(x) = 7(^) + b(^o) - 7(0 ]， xeE. (42) 
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该函数（作为峰态函数与常数之和）显然是峰态的，并且对于一切 

7( x ) - g { x ) = b ( xS ) - 7(4)] - [夕 ㈤ - 7 ⑻ 1 > 0. 

这样，函数 5(0：) 是 〆 x ) 的峰态强 函数. 由于函数 s ( o :) 是贞 x ) 的最小峰态强函数, 
故今( X ) > s ( x ). 

由此可见， 

7(^5) > s ( x o ) - 

但是，由于根据 （42) 式 7( x 5) =咖 S )， 故 咖 5) > 咖 5). 因为对于一切 t e E , s { x )^ 
g ( x ), 所以 g ( xl ) = 5( x 5), 说明点4属于集合 D *. 然而，根据假设 xj e E \ B \ 

所得矛盾说明集合 E \ B * = 0. 由此可见,对于一切 : r e jB ， 7 ( x ) 彡 g { x ). □ 

6 .例现在举几个例子. 

例1考虑§8例5中描绘的、具有两个“吸收”状态0和 iV 的简单随机游 
动.这时，我们假设 p = q = 1/2 (对称游动).对于所考虑的随机游动，如果函数 
7( x) ? .T e £* = {0，1，… ， N }， 是峰态的，则对于一切 x = l， …， TV - 1，有 

7(工)> ^7(^ - 1) + -7( 工 + 1). ( 43 ) 

设给定一函数 9 = g ( x),xe {0，1，... , iV }. 由于0 和尺 是吸收状态可见，应当 
在满足条件 （43) 和边界条件 7(0) = W 0)，7( A 0 = 綱 的所有函数 7(4 中求函数 
s ( x ). 

条件 （43) 表示函数7⑷（在集合{1， 2 ，."，尺-1}上）的凸性.因此，可以得出 
如下 结论: 在该问题中，“(价）值” 5( x )， 其中 

s ( x ) = sup E x g ( X r ) 

是最小凸函數，满足边界条件 7(0) = W 0)，7( A 0 = 9( N ). 直观上，为求函数 s (: r ) 的 
值，需要按如下方式进行.在函数 P ( x ) 的值上“栓”上“绷紧的线”.在图42 “绷紧 
的线，，通过 (0， d )，( l ，6)，(4， c ),(6， d ) 4个点，其中0,1,4,6构成的 KT 剩余集，且在这些 
点上 s ( x ) = g ( z ). 在其余状态 x = 2 , 3 , 5 上，要求 s ( x ) 的值决定于线性内插.“凸流 
形” s ( x ) 的值,对于属于 E 的一切状态 X ，在一般情形下类似地决定. 



图42函数 g ( x ) (虚线）及其凸流形 s ( x),x = 0,1，…， 6 . 
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例 2 像§8中例7和例 8 —样，考虑在状态集合 E = {0, 1，…， AT } 上且在0 
和 iV 是反射屏幕的、对称 （p = g == 1/2) 简单随机游动.所考虑的游动是正常返的. 
由此可见，在此最优停时问题中， 

s ( x ) = sup E x g ( X r ) 

具有相当简单和自然的 构造： 需要等到 “ 函数 Wx ) 达到最大值的任何一个状态”的 
时刻，并且在此时刻停止观测. 

例3假设对于在集合五 ={0， l ，...， iV } 上的、简单对称随机游动，0是吸收 
状态而 W 是反射状态.设抑是函数 p ( x ) 达到最大值，而且是游动离 iV 最近的状 
态.那么，最优停时具有如下 形式： 如果 xo ^ x ^ N , 则当（以 P x _ 概率 1) 达到状 
态时游动停止. 

如果假设五={0，1，...，: r 0 }， 而 z 0 是吸收状态，则在状态0和: l 0 之间停止问 
题的解与例 i 一样. 

7. 最优对象的选择问题最后讨论有广泛知名度的“最优对象的选择问题”，亦 
称“选择审慎的未婚女问题”，“选秘书问题”，……（参阅[59]， [78], [102]， [106]) •为 
叙述的直观计，我们选择“选择审慎的未婚女问题”的形式. 

假设“未 婚女” 希望自 TV 个候选人中选出最好的“未婚夫”.假设 iV 事先己知， 
并且所有候选人事先己经按“素质”排序.为确定计，假设序号最大者，即序号为 iV 
者是最优秀的，按“素质”排第二位者的序号为 iV - l ， …，最差者序号为 1. 

候选“未婚夫”按随机的顺序会见“未婚女”，并且按如下方式实现. 

设 ( a ^ a .2,...， aiv ) 是 1，2，... ，7 V 的排列.排列的总数等于 iV !， 并且假设它们都 
是“随机”的，即每一个排列出现的概率都等于 1 /NI 

在该问题中，样本 （ ai ， a 2 , … , a N ) 的 有序性 在于，（在会见全部候选人的潜在可 
能性的情况下）第一个会见“未婚女”者是编 号为❼ 的候选人，然后是 M ，…，最后 
是编号为 ay 的候选人. 

加在“未婚女”可能 “ 策略”由如下的想法形成. 

“未婚女”并“不了解”她会见的“未婚夫”候选人的完全的 素质. 她关于候选 
人的全部了解，仅仅是通过两两比较的结果，知道哪个较好或较坏. 

其次，如果“未婚女”拒绝了某个“未婚夫”候选人,则他就不再与她会面（然而 
被拒绝者实际上可能是最优秀的). 

“未婚女”的策略应该是，根据顺序会见候选人的结果（并 记忆; 两两比较的结果 
并考虑“素质”)，这样来选择停时使得 

P { a T . = iV } = supP { a T = N }， (44) 

r 

其中 t 属于某一停时类而类 onp 决定于由“未婚女”在会见“未婚夫”候选 
人的过程中得到的“信息”. 
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为更确切地描绘所考虑的停时类 OTf ，我们根据序列 w = ( a Xl a 2 r -， a N ) 建立 
“秩”序列 X = (& ，為，…），该序列是由上面描绘的“未婚女”的行动方式自然产 
生的 • 

具体地说，设 Xi = 1，并设 X 2 是“未婚夫”的大于以上所有编号的编号（即 
到达的时刻).这样，如果 X 2 = 3,则说明对于所讨论的序列 u ; = ( a !, a 2 ,... , a N ), 
值 q > a 2 , 而 ( i 3 〉 a x (> a 2 ). 类似地继续定义 X 3 ， X 4 , …，例如设= 5 . 因而 

«3 > a 4 , 而 as > a 3(> W ). 

最多有 iV 个强函数（在 , a N ) = (1,2,…， AO 的情形 下). 假如对于序 
列 u ; = ( ai , a 2 ,... , a N ), 强函数的个数等于 m ， 则设 X m+1 = X m+2 = = N + 1. 

所考虑的停时类 OTf , 由具有性质 

{a; : r ( u ;) = n } € 

的停时 t = t { u ) 构成，其中义 ） = cr ( Xi ,-- ， An )， 1彡 n 彡 AT . 

现在比较详细地讨论“秩”序列 X = ( X U X 2 ^-) 的 构造. 

不难证明（练习题3)，该序列是相空间为 {1,2,•••,# +1} 齐次马尔可夫 

链.该链的转移概率决定于公式： 

p»j = j(fZYy l ^ i< ^ N ' (45) 

Pi ， N+i = 士， 1 ( i ( N ， (46} 

Pn+\,n+i = 1 - ( 47 ) 


由此可见 ， iV + 1 是吸收状态，而且只有沿集合 E “向上”转移是可能的，即只 

可能转移 i — j ， 并且 j > i . 

注考虑到每一个序列 、 a N ) 出现的概率都等于 1/ iV !， 故可由如 

下简单地讨论得到 （45) 式. 

对于1 ( i < j < N , 转移概率为 

IV •、 P {^n ~ h -^n+1 — j} 

Pij = P{X n+ i = j\X n = 1} = - T>rv _"7\ - • ㈣ 


P{x n 


(48) 


事件 { X n = i ， X n+l = j } 表示， 七 的值在 h ， 
上述事件的概率等于 


• , aj 各值中最大的，这时％ >叫 


P { X n = i , X n ^ = j } 


(j _ 2)! 


ju -] y . 


同样，事件 {A = i } 表示,的值在^，… ，〜 各值中是最大的，而事件 {A = 0的 
概率等于 . 


P{X n 

由这些讨论和 （48) 式，得 （45) 式. 


(i 一 1)! 


I 
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为证明 （46) 式，只需注意到，如果； C n = z •，则 X n+1 = iV + 1,说明〜的值在 
a i > * * *， a ，- i 各值中，以及在 ai + i , - - - , ayv + i 中都是最大的. 

最后，公式 （47) 显然. 

现在假设“未婚女”选择（关于卜代数系（义？）的）某一停时 t ， 并且使= i . 
那么，根据 （46) 式,此时间 t 结果是成功的（即 a T = 7 V ) 条件概 率等于 X T / N (^ i / N ). 
从而， 

P { a r = iV } = E ^. 

因此，求最优停时 r *， 即求满足 


P { a T ^ = N } = supP { a r = N } 


的时间 T ' 归结为解最优停时问题 


supEj ， 


(49) 


其中 t 关于 a - 代数系是马尔可夫时间. 

在 （49) 式中设= 1. 根据对马尔可夫序列，求解最优停时问题的一般方法 
记 

v(i) = supEigiXr), 

T 

其中 E , 是在久„ = i 的条件下的数学期望，且 

脅 

p ( i ) = 士 ， i < N ， 殳 (iV + l )=0. 

由定理2已知，函数识0,1 彡 N + 1 ， 是函数 p ( i )， l 彡 i 彡 iV + 1, 的 峰态强函数: 


■ ▼聊 

v ( i ) ^ Tv ( i ) = ^2 八:一 】 W ), 


t+i 


r ⑷彡 夕 W ， 


(50) 

(51) 


并且（函数 v ( i )) 是同类函数中最小的.由同一定理2,可见满足 方程: 




{ g ( i ), Tv { i )}, 1 < z ^ iV 4- 1 


(52) 


这时，不难看出，所求函数〃 ( i ) 应当 满足: 


i;(iV + 1) 


v ( N ) = g ( N ) 


以 ET 表示停止观测的状态 i e £； 的集合.根据定理1，该集合可以用如下方式 


描绘: 


n * = { ieE : v ( i ) = g ( i )}. 
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相应地，继续观测的集合为 


C* = {i E E : v(i) > g(i)}. 


这样，如果 i € D )' 则 


N 


N 




J=i+1 


7=i+l 


J(j - 1) 


N 


N 


Y ： 士 


)= i+l 


j(j — l ) N 


吣 ） E 7 

7 = i+l J 


从而，如果 i e nr ， 则应该成立不 等式: 


N 


E i 


^ i . 


i+l 


3 


此外，如果该不等式成立，且值 i + 1， • • • ， iV 都属于 ET ，则 


N 


N 


Tv(i)= 


i = i+l 


j(j - 1) 


g(j) = 9{i) 5Z 


j = t-f 1 


J 


< 分⑴ 


因而，状态 i 也属于集合 nr . 

由 v ( N ) = g ( N )， 可见 iV e DT . 因此，上面的讨论说明，集合 AT 应该有如下形 
式： 

D * = { r，r + 1，… ， iV ，7 V + l }， 


其中 r = i *( N ) 决定于不等式 




+ ••• + 


1 


N -1 


^ 1 < 


+ T- + …+ 


1 


- ~r 一 丁 • 

2 * - 1 i 拿 


N 


(53) 


而对于充分大的 iV ， 由此得 


，(7 V ) 〜 f 

e 


事实上，对于任意 n > 2,有 


(54) 


ln(n + 1) - Inn < — < Inn _ ln(n — 1) 

n 


因此， 


N 




n n 


由此连同 （53) 式得不等式 


ln-4L<l<ln N 


i 乂 N ) 


i ，（ N ) — 2 
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于是，由此不等式得渐近式 (54). 
现在对于 《 € 五 ={1 ， 2 ，...， 
如果 + 1，… 


「= {1，2, … ，JV + 1}，求函数 v = v ( i ). 
{ r，r + 1，…，; v，iv +1}，则外）= 夕⑷ 


IN . 


设 i = r 一 1，则 


• • 

v { i * - l ) = Tv(r - l )= E 


: j(j - 1) 


g ( j ) 


N 


N 


设 i 


2,则 


?;(r 一 2) 




上、 _ Q 

JU ^ gU ) 


N 


N 






N 


N 


由归纳法可得，对于一切1 < ; < i *， 有 


v ( i ) = v *( N ) 


从而，对于 i € {1，2,… ， N }, 有 


N 


—+ • • • *4" — 

1 N 




v % N) y 

分⑴ = 


N 


1 

， i ^ N . 


注意到 （ 55) 式，由于 


li^oo U *( iV)-l + 


N 


则当 AT — oc 时 


lim v 、（ N ) 

N—oo 


lim 

N—oo 


i *{ N ) - 1 
^ N ~~ 


« 0.0368 


(55) 


(56) 


(57) 


(58) 


初看来，所得结果可能有些奇怪，因为由此可见，如果候选人数非常大，则“未婚 


女”以很大的概率 


V * = supP{a T = N } = v *{ N ) « 0.368, 


存在从他们之中选择最优秀者的策略.这时，最优停时为 


r * = inf{n : X n € KT }， 
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其中 D * ：= { r，r + l ，...， AT，iV + i }. 

这样，“未婚女”最优策略是，观察 i * - 1个候选人，其中 

i* = i *( iV ) 〜 — , n —* oc , 

e 

然后，在随后会见的候选人中，选择第一个比以前会见的都优秀者. 

在 7 V = 10的情形下,较细致地分析表明（例如，见 [102] 的第三章§1)， r (10) = 4. 
换句话说，这时需要会见3个候选人，并在随后会见的候选人中，选择选择第一个比 
前3个都优秀者.选中最优秀“未婚夫”相应的概率（即 1；* (10) 的值）等于 0.399. 

8. 练习题 

1. 举例说明、对于具有可数状态集的马尔可夫链，（在类 TOf 中）有可能不存在 
最优停时. 

2. 验证在定理2的证明中引进的时间 tv ， 是马尔可夫时间. 

3. 证明在第7小节，讨论“选择审慎的未婚女问题”时引进的序列 X = 

是齐次马尔可夫链 • 

4. 设 X = ( X n ) n ^ 0 是在 R 中取值的齐次马尔可夫链，而其转移函数为 P = 
F ( x ; B),：r eR : Be f ( R ). 称 S - 函数 / = /( x)，x e R ， 是 P - 调和函数（或关于 P 
是调和函数)，如果 


E x |/(&) 卜 / |/(2/)|P(x;di/)<oG, xeR, 

Jr 

而 

/ ⑻ =/ f ( y ) P ( x ； dy ), x eR . (59) 

Jr 

(如果将 （59) 式中的 “=” 换成 >”，则函数/ = f ( x ) 为上调和函数). 

证明如果/是上调和函数，则对于任意 xeR , 序列 ( f ( X n )) n ^ 0 ( X 0 = x ) (关于 
测度 PJ 是上鞅. 

5. 证明 （38) 式中的停时〒属于类 

6. 仿照第6小节中的例1，对于§8的例中的所有简单随机游动，考虑最优停时 
问题: 

s N ( x ) = sup E x g ( X r ) 

和 


. s ( x ) = sup E x g ( X r ). 
reon^ 
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在叙述概率论的历史问题时，可以程式化地分为如下的几个阶段（对照 [26] ―， 
史前 

第 一时期 （17 世纪 一1 S 世 纪初） 

第 二时期 （18 世纪 一 19世纪初） 

第 三时期 （19 世纪后半叶） 

第 四时期 （20 世纪初和20世纪中叶） 

史前.关于随机性的直观印象，以及关于可能机会的各种不同的论断（涉及宗教 
祭祀活动，解决纠纷，预测等)，进入世纪的纵深.在前科学时代，还涉及一些人类尚 
未被认识的现象，以及尚无合理解释的现象，并且只有在几个世纪之前才开始思考和 
真正进行逻辑研究的现象. 

考古资料表明，第一个“随机工具”的难得器件是，很久就被用于原始（极简单) 
的博弈的色子 ( astragalus ) . 可以肯定地说，在如下一些年代，这样的色子在桌上 
的博弈中已经 使用： 埃及的第一个王朝（大约公元前3500年)，之后在古希腊和古罗 
马.众所周知 [20], 罗马皇帝奥古斯特 ( August , 公元前63年一公元 I 4 年)，克劳迪 
厄斯 ( Claudius , 公元前10年一公元54年)，曾经是古怪的色子博弈者 • 

与 博弈相联系，那时已经出现了关于“有利结局”和“不利结局”的个数问题 • 
除博弈之外，在保险业和商业中出现了类似的问题.己知保险业最早的形式，是在巴 
比伦的记事中发现的海运合同，大致在公元前4_年一公元前3000 年. 后来，类 

*) 这一部分的引文见第 894 — 898 页上文献索引. 

•*) astragalus 是一种刻有点“•”的“双蹄目”的骨头，其形 状为： 外形如正四棱柱，有 4 个平面， 
上下底面为球面. 掷 到桌面 上时， 只有其中一个平面 朝上. 
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似契约的实际经腓尼基®人传给希腊人，罗马人，印度人.其踪迹可以在罗马文化的 
早期法典和拜占庭帝国®的法律中找到.鉴于寿命保险的需要，罗马法学家尤尔皮 
安 （ Ulpian ) 于（公元前220年）编制了第一个死亡表.在意大利的城市-共和国（罗 
马，威尼斯，热那亚，比萨，佛罗伦萨)，鉴于保险的实际，出现了简单统计及实际核算 
的必要性.众所周知，第一份确切注明日期的寿命保险的合同，于1347年在热那亚 
签订. 

城市-共和国开创了文艺复兴时期 （ Renaissance, 14 世纪末一 17 世纪 
初） 一 在西欧的改造和更新时期.看来，正是在意大利的文艺复兴时期，出现了 
或多或少严重的争议，主要是 L. 帕乔里 (Luca Pacioli, 1445 年一 1517 年 ⑺)， C •卡 
利卡尼尼 （Celio Calcagnini， 1479 年 一 1541 年） 和 N. F. 塔尔塔利亚 （Nicola Fontana 
Tartaglea, 1500 年一 1557 年）关于 “ 概率”论断的争议，基本上是哲学性质的争议 
(见 [43], [20]). 

看来， G . 卡尔达诺 (Gerolamo Cardano ， 1501年 -- 1576年)是最早开始从数 

学上分析博弈结局者之一，他是广为人知的“卡尔达诺轴”的发明者，并且求解了 3 
次方程.他的文献抄本（大约1525年)，只有在1563年，以 “Liber de Ludo Aleae ” 

( 《关于博弈的书》）书名才出版，该书并不仅仅是某种赌徒的实际参考书.在该书 
中最早阐述了组合的思想，利用组合方法便于描绘一切可能结局的集合（在不同次 
数地，投掷不同特点的色子时1可能结局的集合) . G . 卡尔达诺还发现，对于均匀对称 
的色子，“ 4 有利组合数’与‘一切可能组合总数’的比值，与博弈的实际十分一致” [20]. 

1. 第一时期 （17 世纪 一 18世纪初）许多人，例如，拉普拉斯 [ 39 j (亦见 [61]) 
把《概率演算》 （ 《概率论》） 165 4 年登记与帕斯卡 (Blaise Pascal ，16!23年一 1662 
年）及费马 (Pierre de Fermat ， 1601年 一 1665年）的通信相联系.通信与勋章获得者 

de 梅尔 (Chevalier de Mere , 他也是 Antoine Gombaud -作家和道学先生，1607 

年一 1684年）给帕斯卡提出的某些问题有关. 

这些问题之一就是，在中断的博弈中，如何公平地分配赌注.具体地说，假设两 
个选手 A 和 B 约定，在对弈中（例如，共对弈5局）获胜者将得到全部 赌注. 假设当 
选手4获4胜而选手 B 获3胜时，则对弈强行停止.问在此被停止的对弈中，选手 
应按什么比例分配赌注？仿佛该问题的“自然”答案之一就是，应当按2 : 1的比例 
分配赌注.实际上，对弈经两步肯定结束，这时选手4只需贏一局，而选手 B 需要 
贏两局.由此可见，仍导致2 : 1的比例 • 

然而，按局数贏得对弈的选手，“自然”也可以认为是 4 : 3. 如帕斯卡和费马认 
为两个都不是 .• 应当按3 : 1的比例分配赌注 • 

另一个问题是，哪一种情形更有可能:将一枚均匀对称的色子掷4次，“6个点至 
少出现一 次”， 还是将两枚均匀对称的色子同时掷24次，“数偶（6,6)至少出现一次 ”• 

① 腓尼基 ( Phoenicia ) 地中海东岸的古国，曾在地中海开辟了许多殖民地，公元前6世纪被波 

斯征服，公元前332年被马其顿王朝亚历山大占领,——译者 

② 拜占庭 （ ByzanUum ) 帝国，亦称东罗马帝国（公元4 一 5世纪）首都君士坦丁堡. —— 译者 
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对于上述问题，帕斯卡和费马给出了正确的 答案: 第一种情形比第二种情形可能 
性更大.两种情形的概率分别等于 


Pi = 1 - 



3 0.516 和 P2 = 1 — 



« 0.491. 


在求解这些问题时，帕斯卡和费马（像卡尔达诺一样）广泛运用了组合分析的方 
法.组合分析法,在计算不同结局的个数时，成为“概率演算”的基本方法之一.较早 
就著名的帕斯卡三角形①，在这里也找到了其“应用”的位 S . 

在 1657年出版了 C . 惠更斯 (Christianus Huygens , 1629年一 1695年)的书 
(De Retiociniis in Lugo Aleae 》（ 《博弈中的计算》），被认为是“概率演算”的第一 
部系统的著作.书中以明显的形式，表述了许多基本概念，概率的演算原则，引进了 
概率的加法法则和乘法法则，还包括关于数学期望概念的讨论.在很常时间里，该书 
是《初等概率论》的主要参 考书. 

所涉及的“概率论”形成时期的核心代表人物是， J . 伯努利 (Jacob ( Jakob , 
James , Jacques ) Benoulli , 1654 年一 1705 年) . J . 伯努利的功励在于，他把“有关所 
考虑事件的可能结局数”与“可能结局的总数”的比值，作为“事件概率”的“古典 
型”概念引进了科学. 

J . 伯努利的与其名字联系在一起的基本成果，当然是作为概率论一切应用基础 
的大数定律. 

j . 伯努利于 ni 3 年，将这一定律用极限定理的正式形式，（在其侄子 N . 伯努 
利 [Nikolaus Benoulli ] 的参与下）出版了的专著 《Are Conjectandi 》（ 《假设的艺 
术》），人们把该专著出版的日期当作大数定律的生日（见 [3] 第9, 2了，75, S 3 页) • 
像 A . A . 马尔可夫在纪念大数定律200周年时的发言中（见 [53],[3]) 指出的, J . 伯努 
利在 (1703 年 1 U 月3日和1704年4月20曰）给 G . W . 莱布尼茨 (Gottfried Wilhelm 

Leibniz ， 1646年一 1716年）信中写到,他“在20年前已经知道”这个定理.(“大数 
定律”这一术语是泊松1835年建议启用的 .） 

伯努利家族的另一名代表，是 D . 伯努利 (Daniel Benoulli , 1部 7 年一 1748年), 
因为他在概率论中关于所谓“彼得堡奇论”的争议而知名.对于该问题的解，他使用 
了 “道德期望”的概念. 

概率论形成的第一个时期，正是数学科学建立的时代.使用诸如连续性，无限大 
和无限小等概念，正是属于这个时期 . I . 牛顿 (Isaac Newton , I6 42 年一 H 27 年）和 
G . W . 莱布尼茨创建微分学与积分学，也是在这个时期•像 A . H . 柯尔莫戈洛夫 [26] 
指出的那样，这个时期的任务是，“理解研究因果关系的、数学方法不寻常的广度和 
深度（而当时似乎是万能 的). 作为根据系统现在的状态，唯一决定系统将来的变化 
的定律的微分方程的思想研究，与现在相比在数学科学中还占有相当特殊的地位.在 

①即杨辉三角形.杨辉（中国数学家，13世纪，南宋)，帕斯卡 （17 世纪，法国数学 家). 一译者 
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数学科学中，在微分方程的确定性概型不能应用的地方，需要概率论.在当时具体的 
自然科学的资料,对于计算和事物性的应用，尚未用到概率论. 

然而，对于微分方程组一类的确定性模型己经十分明显，引进实际现象的、深 
入的模式化是不可避免的.同样明显的是，对于无法单独考虑，且相互之间没有关联 
的大量现象混乱的基础上， 4 平均’来讲可能出现完全清晰的规律性”，这充分地揭示 
了 J . 伯努利的极限定理——大数定律的意义. 

必须指出， J . 伯努利意识到，考虑重复试验结果的无限序列的重要性.关于事件 
在试验中出现频率的极限性质提法本身，在局限于初等算术和简单组合方法的、概 
率论的研究中曾经是新的（“无限的”）思想.恰好是导致大数定律的、问题这样的提 
法，不但显示出，“事件出现的概率”与“事件在有限次重复试验中出现的频率”之间 
的差异，而且显示出，用试验次数充分大时频率的值，以一定的准确性确定事件概率 
的可能性. 

2. 第二时期 （18 世纪一 19世纪初）这个时期主要有这样一些代表人物: 
P . R . 蒙特莫尔特 ( Pierre-Remond de Montmort , 1678年 一 1719年 )， Dl 棣莫弗 
(Abraham Moivre , 1667 年 一 1754 年)， T . 贝叶斯 (Thomas Bayes ，1702 年一 
1761 年 )； R S . 拉普拉斯 (Pierre Simon de Laplace ，1749 年一 1827 年)， C . F . 髙斯 
(Carl Friedrich Gauss , 1777 年一 1855 年)； S . D . 泊松 (Simeon Denis Poisson , 1781 

年 一 1840 年) • 

如果说第一时期实质上带有哲学的特点，那么在第二时期是发展和分析方法的 
精练.在各种不同领域出现了进行计算的必要性，将概率统计方法用于观测误差理 

论，射击理论等. 

蒙特莫尔特，以及棣莫弗受到 J . 伯努利在“概率的演算”工作的强烈影响•蒙 
特莫尔特在他的书 《Essai d ’ Analyse sur les jeux de Hasard 》（ 《随机博弈试验分 
析》 ， 1708 年）中，重点就是不同博弈中核算方法的展开. 

棣莫弗在他的两部书中 ： 《Doctrine of Chances 》（ 《偶然性的理 论》； ms 年)， 
《Miscellanea Analytica Supplementum 》 （《分析方法》或《分析混合体》，1730年)， 
相当详细地给出了如下一些定义： 事 件的独 立性，期望，条件概率. 

棣莫弗最著名的是二项分布的正态逼近.假如说伯努利大数定律，是频率在多方 
面“ 平均” 服从某种明显的规律性（按收敛的形式，事件出现的频率在一定意义上收 
敛于其概率)，那么棣莫弗发现的正态逼近，揭示了关于 偏差对 平均水平性质的另一 
种广泛的规律性.棣莫弗的结果及其后来的推广是如此地卓著,使得人们把“积分极 
限定理’，称为概率论的 中心极限定理 •(使用这一术语，是 G . 波利亚 (George Polya , 
1887 年—1985年）1920年建议的， [55).) 

在所涉及的时期,最著名的无疑是拉普 拉斯. 他在1812年出版的专著 《Thtode 

Analytique des Probabilities 》（ 《概率的分析理论》 ）， 是 19 世纪概率论的主要参考 

书.除天文学和数学分析方面的工作之外，他还撰写了若千关于概率演算的基础，哲 
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学问题和具体问题的论文.拉普拉斯在误差理论方面的贡献卓著.具体地说，在误 
差理论中引进正态律自然的思想属于他和高斯，正态律是大量独立的、最简单的误 
差叠加的总效应而产生的结果.拉普拉斯不仅给様莫弗积分定理以更加一般的提法 
(“棣莫弗-拉普拉斯定理”)，并且提出了新的分析证明. 

继 J . 伯努利之后，在有限个可能结局的情形下，拉普拉斯明确地依照导致概率 
概念的“古典型”定义的、“等可能性原则”或“无差异原则”. 

然而，在这一时期就己经出现了，不能置于古典概型中的，“非古典型”概率分 
布.例如，出现了正态分布和泊松分布.不过，这两个分布长时间仅仅被视为某种逼 
近，而不是（像现代对术语的理解）看成概率分布. 

另一个“非古典型”分布的例子，就是 “ 几何概率的”问题（例如，见牛顿 1665 
年， [52] 的 p.60). 这里还有著名的“蒲丰针”问题.与贝叶斯公式相联系，亦出现了不 
同的概率. 贝叶斯公式 发表在 1763 年的论文 “An Essay Towards Solving a Problem 
in the Doctrine of Chances” 中，在试验出现了某一事件的情况下，该公式给出了重 
新计算先验概率的规则（贝叶斯认为两个概率是相同的) ①. 由该公式在统计学中产 
生了一个完整研究方向，如今称为“贝叶斯方法”. 

综上所述可见，在概率论的“古典型”（有限）框架内本质上制约了其发展和应 
用的可能性，而对于正态分布，泊松分布，以及其他分布的解释只能局限于某种极限 
形式，因而产生一种不完善的感觉.在这个时期，在概率论中缺乏抽象的数学概念, 
而且它还没有被当作应用数学.况且，其方法还局限在（诸如，赌博，误差理论，射击 
理论,保险，人口学…… ) 的具体应用 • 

3. 第 三时期 （19 世纪后半叶）在这个时期，彼得堡占据了概率论一般问题的 
基本 位置： n . JI . 切 比雪夫 （ n . JI . Me6umeB, 亦译“切贝绍 夫”, 1821 年一 1894 年), 
A. A. 马尔可夫 （ A. A. MapKOB , 1 奶 6 年一 192 2 年)，和 A. M. 李雅普诺夫 （ A. M . 
JlnnyHOB , 1857 年一 1918 年)，在概率论的整个系统的扩展和深入方面，作了重要 
贡献.具体地说，由于他们的工作，突破了 “古典型”概率的机会的 框架. 切比雪夫 
非常明确地评价了随机变量的概念，数学期望的概念的作用，并且有效地演示了这 
些观念的适用性， 当 然这些在现在看来都是很平常的. 

大数定律，棣莫弗-拉普拉斯定理涉及仅有两个可能值的随机变量 • n . JI . 切比 
雪夫本质上扩展了这些定理的适用范围（使之适用于更一般的随机变 量). 例如，他 
的第一个成果是，证明了大数定律对于任意独立随机变量之和成立，只要这些随机 
变量的绝对值都不大于某一常数. （下 一步工作是 A. A. 马尔可夫完成的，证明用到 
“切比雪夫-马尔可夫不等式 ”.） 

在大数定律之后， n . JI . 切比雪夫转向“对于独立随机变量之和，棣莫弗-拉普 
拉斯定理的正确性”，为此他提出了新的证明方法——矩法，后来由 A. A. 马尔可夫 

实现. 

① “anpHopH” (a priori) 汉语常译为 “ 先验”，有的译为 “ 验前 ' 译者 
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在寻找棣莫弗-拉普拉斯定理成立的一般条件的过程中， A . M . 李雅普诺夫迈 
出了意想不到的一步，他用由拉普拉斯开始的特征函数方法证明了，只要存在 (5 > 0 
使被加独立随机变量有 2 + (5 阶矩，而没必要存在一切阶矩，即可证明该定理.此条 
件称做“李雅普诺夫条件”. 

作为原则上新的概念应该指出， A . A . 马尔可夫引进的、具有“无后效”性的、 
相依（非 独立） 随机变置，现在称做“马尔可夫链”.并且对于马尔可夫链，首先严格 
证明了 “遍历性”定理. 

可以确切地断言， n . J 1. 切比雪夫， A . A . 马尔可夫和 A . M . 李雅普诺夫（“彼得 
堡学派”）的工作，为后来概率论的全部发展奠定了坚实的基础. 

19世纪的后半叶，在西欧由于发现概率论与纯数学、统计物理的深刻联系，以 
及数理统计蓬勃发展，对于概率论的兴趣开始急速增长. 

在这个时期，概率论本身的发展，越来越明显地受到其“古典型”假设（结局的 
有限性及其等可能性）的强烈制约，并且需要在纯数学中寻找相应的扩展.（这里应 
注意，当时集合论才刚刚建立，而测度论刚刚处于创立的“门槛”) • 

与此同时，在纯数学中，特别在数论中，科学仿佛离概率论十分遥远.人们开始 
利用概率的概念，并且得到了纯“概率”本性的结果，开始对于概率的直观产生兴趣. 

例如在1890年， J . 庞加莱 (Jules Henri Poincare , 1854年 一 1912年）在其关于 
“三物体”的论文中得出如下 结果： 描绘保持“体积”变换 r 的、动态系统运动的返 
回性的结果说明，如果 A 是初始状态 u ; 的集合，则对于“典型的” u ; G 咸运动的轨 
道: TV ; 将无限多次返回集合 A (按现代语言，回返不是对于所有初始状态，而仅对 
于几乎所有初始状态 .） 

在这个时期的研究中，人们常提到“随机抽样”，“典型情形”，“特殊情形”•在 J . 
庞加莱的教科书 «Calcul des Probability 》([56], 1 8 96年）中，提出一个问题“在区 
间丨0，1] 上随机 选取的一点，恰好是有理数的概率如何?” 

1888年天文学家 J . A . H . 盖尔登 (Johan August Hugo Gylden , 1841 年一 1896 
年）发表了论文[18]，论文的起源（像 J . 庞加莱 [57], 1890年的论文一样）与星球的 
稳定性有关，而现在应纳入概率数论.论文的内容如下. 

以“随机地”选取一个数 u ; € [0,1)，并且设 u ; = (a u a 2l …）是 o ; 的连续分数分 
解，其中 a n = a n (cj) 是整数.（对于有理数 a ; G [0,1 ), 在此分解中仅有有限个不 
为0,并且由 （ ai ， a2 , …）形成的数 a /*) = ( ai , a2 , - - *， afc , 0,0, • • •)， 用于做的最优 
初始逼近 .） 问在“典型”情形下，当 n 的值充分大时量 a n ( u ) 的性质如何？ 

虽然并不严格， J. A. H. 盖尔登证明，当 n 充分大时在分解 a; =( 化奶， …）中, 
a n =k 的值在 “ 多少” 程度上与 fc 2 呈反比.略晚些， T. 布罗登 （ T. Brod ^ i , [I 2 ]) 和 
A. 威曼 （ A. Wiman, [62]) 证明，利用几何概率，如果把 “ 随机”抽取 u; e [0,1) 看作 
o ; 在[0 ，1)上“均勻分布”，则当 n — 00时 a n ( u ;) = k 的概率收敛于值 
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(1 H2)' 1 xln 






由此可见，对于充分大 A : 的，该式与 P 呈反比，而这实质上具有盖尔登的形式. 

19世纪的后半叶，概率的概念和论断，开始广泛地应用于经典物理和统计力学. 
例如，只需注意到，分子运动速度的麦克斯韦分布 (James Clerk Maxwell , 1831年一 
1879年；见 [44]); 布耳兹曼 (Ludwig Boltzmann ; 1844年一1906年) 时间平均值和 
遍历假说 （见 [ G ]， ⑺). 

总体的 概念与他们的名字相联系，后来总体的概念在吉普斯 (Josiah Willard 
Gibbs ， 1839年一1903年）的工作中得到进一步发展（见 [17]). 

对于概率论以后全部的发展，以及关于对概率方法与概念作用的认识的深化，如 
下一些学者都起了重要作用：1827年 R . 布朗 (Robert Brown , 1773年一 1858年）发 
现的被称为布朗运动的现象（对该现象的描绘，1828年发表在抨击性文章 《A Brief 
Account of Microscopical Observation …》 [11] 中)；在研究铀的性质时，1896年 A . 
贝克尔雷尔 ((Antoine ) Henri Becquerel ， 1852年一1908年）发现了 放射性衰变现 
象； 1900年 L . 巴彻里耶 (Louis bachelier ， 1870年一1946年， [2]) 利用布朗运动对股 
票的价格进行数学描绘（详见 [74]). 

A . 爱因斯坦 (Albert Einstein , 1879年一1955年， [75]) 和 M . 斯莫卢霍夫斯基 
(Marian Smoluchowski , 1872年一 - 1917年， [59]) 后来对布朗运动，作了定性的解释 
和定量的描述.放射性现象在童子力学的框架内得到了说明，量子力学是20世纪的 
20 年代创立的. 

由以上所述知，新概率概型和模型的出现，以及概率的思想体系都超出了 “古典 
型概率”的范围，并且要求有新的概念，以便对诸如“来自区间 [0,1 ) 的样本点”的 
含义，给予确切的数学意义，更不用说对于“随机”布朗运动的解 释了. 从这种观点 
看来，非常适时的是，产生了集合论，和由 E . 博雷尔 (Emile Borel , 1871年一 1976 
年；间）于1898年引进的“博雷尔测度”的概念；以及 H . 勒贝格 (Henri Lebesgue ， 
1875年一 1941年）积分理论，包含在其1904年的书中[40】；由 E . 博雷尔作为长 
度概念的推广，将测度引进欧几里得空间.遵循 M . 弗雷歇 (Maurice Frechet , 1878 
年一 1973 年； 1915年现代讲述测度论，是在抽象可测空间上（关于测度论和 
积分的历史，例如见 [72]). 

实际上，立即可以察觉，博雷尔测度论和勒贝格积分理论概念的基础，不但可以 
为许多研究奠定基础，而且为诸如“在区间 [0,1) 是随机选点”之类的许多直观提法 
賦予确切的意义.而且， E . 博雷尔本人很快 （1905 年）就将理论-集合方法应用于概 
率论，证明了——强大数定律——关于实数的某些性质，“以概率1 ”成立或“几乎 
必然”成立 • 

这些定理给出一定的印象，“或多或少”的实数，具有（在如下指出意义上 ）"# 
殊”性质.这些定理的实质如下. 
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假设实数 J € [0,1)，而 w = 0. a ! Q 2 ... 是二进制分解，其中〜= 0,1 (对照 
上面的0；分解为连续分数 w = ( ai , a 2 , •••)). 那么，若 v n ( u ;) 是在的前 n 个值 
%，•••，〜*“：[”的个数，则满足 条件： 当 n -> go 时 v n ( uj ) — 1/2的 o ; (博雷尔称 
之为“正规的”）集合的博雷尔测度等于1,而对于那些（“特殊的”） u ;, v n ( uj ) 不收敛, 
且相应集合的博雷尔测度等于 0. 

这一结果（“溥雷尔强大数定律”〉外观上像 J . 伯努利定理（“大数定律”).然而, 
在二者之间，既有形式上数学的不同，又有哲学概念上的差异.事实上，在大数定律 
中仅仅断定：对于任意 e > 0,当 n — oo 时事件 { u ; : \ v n ( u ;) - 1/2| ^ e } 的概率收敛 
于 0. 而在强大数定律中结果更多：事件 

• sup \ v m { uj ) - I /2\^£> 

I m 彡 n J 

的概率趋向 0. 此外，在第一种情形下，命题涉及有限序列 （ a 】， a 2 ，•… ， a n ),n > 1 
概率的某些性质，以及这些概率的极限.而在第二种情形下，命题涉及定义在无限序 
列 ( ai , a 2 ,... , a n ,..-) 概率的性质，以及这些概率的极限.（与概率论方法渗透到数 
论中，以及构建现代概率论，有关的数学和哲学问题的广泛资料详细阐述，参见专著 

“Creating Modern Probability ", [54], 作者是 J . v . 普拉托 (Jan von Plato )). 

4. 第四时期 （20 世纪初和 20 世纪中叶 ） 19世纪末，表现出概率论与纯数学 
的联系，使得 D . 希尔伯特 (David Hilbert , 1862年一年）提出概 率论数学化的 
问題.1900年8月8 H ， 在巴黎召开的第二届数学学术会议上， D . 希尔伯特在他的 
提纲性报告中提出上述问题.在他的著名课题中（第一个是关于连续统-假说)，第 
六个是数学起决定性作用的物理学科的公理化问题 . D . 希尔伯特把概率论和力学归 
为这样的学科,他还指出在物理学，其中包括气体动能理论，严格的和尚未满意的发 
展平均值方法的必要性 . D . 希尔伯特指出，格丁根 ( Gottingen ) 大学①的 G . 布耳曼 
(Georg BoHlmann ， 1869年一 1928年）副教授，由他提出了 “关于概率论的公理化 
问题的动议”，他1900年在巴黎召开的保险统计人员会议上作了关于公理化问题的 
发言（见问， [19]). G . 布耳曼引进的概率定义为事件上的（有限-可加）函数，然而 
没有“事件系”的充分清晰的定义，其实他自己也承认这一点. 

概率论形成历史的第四个时期——是概率论的逻辑奠基和形成数学学科的时 
期. 

在 D . 希尔伯特的报告之后，很快出现了几个建立概率 的数学 理论的尝试，其共 
同的特点是.以集合论与测度论为基础. 

例如，1904年 R . 拉默尔 （ R . Lammel , [41]; 亦见 [19}) 为描绘结局的集合，他试图 
利用集合论，不过，概率的概念（使用术语 “ content ”， 且结合体积，面积,长度…… ) 


①格丁根是德 国城市 ，人口 f 几万.格丁根大学是一所综合性大学年创立，也是该城唯一 
一所髙校，学生两万人左右.格丁根科学院175】年成立，有近百名院士和百余名通讯院士.——译 
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本身仍然停留在以往时期的直观水平上. 

另一个作者 U. 布罗吉 (Ugo Broggi, 1880 年一 1965 年）在其由 D. 希尔伯特指 
导的学位论文 （ 1907 年， [101; 亦见 ⑽） 中，也运用博雷尔和勒贝格测度论（基于它 
在 1904 年勒贝格的书 [40]) 中的概念，但是（有限-可加）概率的概念本身（在最简 
单的场合）需要运用“相对测度”，“相对频率”和‘(在一般情形下）某种人为的极限 
过程. 

伯恩斯坦在随后关于概率论的逻辑奠基工作作者中，首先应当提到的是， C . 
H . 伯恩斯坦 （ C . H . BepHinTeftH , 1 88 0年一 I 968 年）和 R . von 米泽斯 (Richard von 
Mises ， 1883年一1953年). 

C . H . 伯恩斯坦的公理化体系（[4]，1917年)，以事件按其大或小的似然程度的质 

量比较为基础，而概率的數值本身表现为某个任意值. 

费内提后来，在 B . de 费内提 (Bruno de Finetti ， 1恥6年一1985年 ） 20年代 
末_ 30 年代初的工作，用基于与主观数量判断十分相似的方法（“主观知识体系”)， 
得到广泛的发展（例如，见[65]-[70]). 

B . de 费内提的思想，得到统计学中许多贝叶斯方向代表的很大支持，例如， L . J . 
塞维奇 (Leonard Jimmie Savage , 1917年 — 1971 年; [60]). B . de 费内提的思想，在 

有相当大的作用的对策论和判决理论中，也得到同样的支持 • 

米泽斯 19 1 9 年 R. 米泽斯提出了 （ [49]，[50])，论证概率论的 所谓频 率方法（亦 
称统计 方法或 经验方 法).他的所 谓频率 方法以如下的思想为基础，概率的概念只可 
能用于所谓“集体 ”， 即 个别无限有序教列， 且这种有序数列具有其形成的某种“随 
机”性质. 

R . 米泽斯的一般概形描绘如下. 

考虑“试验”结局的某个样本空间，并且假设可以进行无限多次试验，得序列 

其中〜是第 n 次 “ 试验”的结局.其次，设 A 是试验结局的集合 

的子集，而 

1 ^ 

v n { A \ x ) = 

«=i 

是“事件’’ 4在前 n 次“试验”中出现的频率. 

序列 X = ( X !, X 2 ,...) 称做 集体， 如果它满足如下（称 为米泽斯泽一性条件 （见 
[49) 〜 [51]) 的)两个假说. 

I (对于序列频率的极限 存在） 对于一切“容许”集合>1 ，频率的极限存在： 

limv n ( i 4; x ) (= p ( A ] x )); 

n 

n (对 于子序 列频率的极限 存在） 对于一切由序列 ： T == 利用某一 

事先约定的（“容许”）其形成规则体系（米泽斯称之 为位选择函数 ( Plax : e-selection 
functions ]), 得到的子序列： r ' = … ）， 频率 \ imv n { A ; x , ) 的极限与关于序列 

X = (Xi, J ： 2, * * * ) 本身的极限 一 * 样，即等于 v n{^i x )' 
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按照米泽斯，只有联系具体的“集体”才可以称“集合4的概率”，而且（根据假 
说 I )这一概率 ( P ( A ； X )) 定义为频率的极限.需要强调，假如该极限不存 
在（即按照定义.!：，不是“集体”)，那么^应的概率也就没有定义.第二个假说，米泽斯 
用来表示（相应的直观,恰好是一切概率研究的基础）在形成“集体” ：r = ( X !, X 2 ,...) 
时“随机性”概念，反映该序列“非正则性”思想，以及对于任意 n > 1，根据“过去” 
(x 1? x 2 , ••-_0 ，其“将来”值 （ x n ，: c n+1 ，…） 的“不可预测性”.（赞同第二章§1介 
绍的，柯尔莫戈洛夫公理化体系的，概率论的代表人物，这样的序列应当联想到，对 
独立同分布随机变 量观测结局的 “ 典型” 序列； 见第一章 §5 第 4 小节 .） 

米泽斯，像他自己 ([51] 第1页）说的那样，在建立 “a mathematical theory of 
repetitive events ” （重复丰件的数学理论）时提出的假说，（特别是在30年代）引起/ 
很大的争议和批评.基本的不同意见如下：实际中人们遇到的一般是有限序列，而 
不是无限序列.因而，实际上无法确定极限 linM ； n (^;. T ) 是否 存在； 在从序列 x 转移 

到序列 X '时，实际上也无法确定该极限《敏^性》.米泽斯定义的子序列形成“容 
许”规则的概念，也受到严重的批评，使得在非此即彼的条件 II 中，出现许多（“模棱 
两可”）规则定义的模糊不清晰性. 

如果考虑由0和 1 形成的序列 x == ( x 1 , x 2 ,---), 而且对于该序列，极限 
limt ; n ( x ;{ l }) 的值属于区间 (0,1), 则该序列既含无限个0又含无限个 1. 因此，如果 
邊 许任何 形成子序列的规则，那么，例如可以由 x 组成仅含“1”的子序列 〆 ，显然 
\ imv n ( x f ;{ l }) = l . 由此可见，关于一切形成子序列的方法的非平凡“集体”不存在. 
n 在证明“集体”类“非空”的第一步，是由 A . 瓦尔德 (Abraham Wald , 1902 
年—1950年）1937年在其论文 [13] 中实现的.在他由序列 x = ( XU 2, …）构 
造子序列 〆 =时，利用只取0和1两个可能值的可数个函数组 /i = 
fi ( x u … 彡 1: 若 , a ： i ) = 1，则元素属于子序列 x '; 若 ， 

Xi ) = 0,则元素 x n+ \ ^ x \ 1940年 A . 乔尔奇 (Alonzo Church , 1903 年 一 1995年) 
提出形成子序列的另一种方法（见 [73]), 方法基于如下 想法： 这样的形成方法应该 
是实际上“可有效计算的”.乔尔奇的这一思想导致，他为序列的建立而提出的，函 
数计算 算法的 概念.（例如，设:^有两个可能值 : A = 0 ? u ; 2 - L 将序列与一正数 

A = 

k=l 

相对应，其中决定于 i k = u ; ik . 如果 p = w ( A ) 是定义在集合{0，1，2，...}上的，给定 
的二进制 {0,1} -函数，则当 p ( A n ) = 1时 x n +1 包含新序列 〆 中，而当 c ^( A n ) = 0 
时 x n +1 不包含 f 中). 

“ 集体” 作为具有“随机性”序列的说明和证据之一，米泽斯引进了直观的 论据: 
对于这样的序列不能构造“能获胜的对策体系”. 

在 J . 维尔 (Jean Ville ， 1910年一 1988年）1939年不大的专著 [14] 中，对这样 
的论断进行了批评性分析， J . 维尔在 [14 j 中给米泽斯的结果以严格的数学形式•需 
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要指出，也正是在此专著中，首次（作 为数学 概念）使用术语“鞅”. 

由以上引进的概率论公理化不同方法 （ ……，伯恩斯坦， de 费内提，米泽斯）的 
描述可见，在他们那里留有概念的复杂化与过分超负荷错误的印记，其中多是出于 
建立尽可能接近实际应用的、概率概形的愿望.正像 A . H . 柯尔莫戈洛夫在其专著 
《概率论的基本概念》丨 23 j 中指出的，这无法产生简单的公理化体系. 

A . H . 柯尔莫戈洛夫，提到他对于概率论逻辑基础的兴趣的，发表的第一篇作品, 
是（非广为己知的）论文“测度与概率演算的一般理论” [27]. 论文的名称及其内容表 
明， A . H . 柯尔莫戈洛夫把集合论与测度论，看作概率论逻辑基础的可能性所在.由 
以上的叙述可见，这种情况完全不是新的，并且对于莫斯科数学学派是完全自然的. 
因为对于莫斯科数学学派，集合论及度董函数理论，是数学研究的基本领域之一. 

在这篇论文 （1929 年）与《概率论的基本概念》 （ [ 23 ], lim 年）之间， A . H . 柯尔 
莫戈洛夫发表了他著名的论文之一 “概率论的分析方法” [29]. 关于这篇论文， n . c . 
亚历山大罗夫 （ n . C . AjieKca ^ poB ) 和辛钦 [1 ] 写道：“在整个20世纪的整个概率论 
中，很难指出对于未来科学的发展如此奠基性的研究成果……”. 

这篇论文的重大价值在于，它不仅奠定 了马尔可夫随机过程 的理论基础，而且 
它表明概率论整体上与数学分析（特别是与常微分和偏微分方程论）的联系，以及与 
经典力学和经典物理学等的联系. 

鉴于所考虑的概率的数学理论基础问题，我们指出，譬如说论文“分析方法” [29]， 
可以看作逻辑上建立随机过程基础必要性的、“物理的”动机综合体，是（除“公理 
化”外）“基本概念”链中的一环. 

A . H . 柯尔莫戈洛夫提出的（非正式的）概率论的公理化，基础是概 率空间 

(Q ，， P) 

的概念，其中队，）是（“基本”结局和“事件”的）某一（抽象）可测空间，而 P 是 
平 中的非负可数-可加集函数，且满足规范性条件 P ( n ) = 1 (“概率 ”)； 见第二章 

§ 1 . 

关于随 机变量 € = ^( u ；) 理解为^ - 可测函数€ = 而按测度 P 定义的 

的勒贝格积分是 其数学 期望. 

关于芡 £，的 a - 子代数条件数 学期望 E ⑷芡）是新概念（见 A . H . 柯尔莫 
戈洛夫的《概率论的基本概念》（第二版）的前言 [24]). 

在《概率论的基本概念》中，有一定理， A . H . 柯尔莫戈洛夫称之为基本的，这 
本身就强调它所包含（关于具有给定有限维分布的存在性的过程）论断的重要性.这 
里，问题的实质如下. 

在 A . H . 柯尔莫戈洛夫的论文“概率论的分析方法” [29】中，马尔可夫过程用 
于“随机确定系统”的发展变化，这用满足“柯尔莫戈洛夫-査普曼方程”的、函数 
Pis ^-^ A ) 性质的语言描述.函数 P ( s , x ; t , A ) 称做转移概率函数，因为它表示“在 
时间 s 4 系统’处于状态 A 而在时间 t ‘系统’处于其状态相空间的集合4中”. 
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同样，同一时间，在[30]， [31 j ， [66]，[6 7 ]关于“齐次独立增量随机过程”的工作 
中，所有的研究都用满足函数方程 

P s+t (x) = j P s {x - y)diPt(y) 

的函数 P t ( x ) 性质的语言进行的，在说明是“经时间 i 过程的增量不大于 rr 的 
概率”时，上面的方程是自然产生的. 

不过，从形式逻辑的观点看，可以称为“具有给定转移概率 P { s , x ^ A ) 或给定 
分布的‘过程’ ”的对象之 存在性 问题，仍然没有解决. 

就是在求解该问题时，涉及如下基本 定理： 对于每个一致有限维概率分布组 

■^1 彳2,... (工1 ，工2, •• • • ， *^ n ) » 艺 1 ( n，A G 狀， 

可以建立一个概率空间 （ a ，， p ) 和随机变量组 x = ( x t ) t ^ x t - x t ( u ；), 使得 

P{^t\ ^ ^t2 ^ * * * > ^t u ^ ^n} =: ^ti,ta**** >t»» ( 工 1 ，工 2’ . . • ，工 n )， 

作为 Q 取实函数 U ； = 的空间 作为叉 取柱集生成的最小7 -代 

数，而测度 P 是由柱集代数上的测度（在柱集代数上，该测度是自然地根据有限维 
概率分布建立的)，开拓到，上概率测度.随机变量组 X t ( u ) 是用坐标方式建 立的: 
若 U ； = ( Ako , 则不 M (这一构造说明了，为何“随机过程”的概念，常等同 
于（它）在函数空间中的测度). 

在《概率论的基本概念》中，以不大的篇幅讲概率论的适用性 问题. 

在描绘将概率论用于“现实试验世界”的 条件模 式时， A . H . 柯尔莫戈洛夫许多 
方面是按米泽斯做的，而且表明在概率论的解释与应用性问题上它与米泽斯方法并 
不是格格不入的. 

关于这一条件模式的实质可以描述如下. 

假设有某一条件的综合体,使得可以进行无限次重复试验. 

设 ( x 1 ? x 2 ,• • • ，:^)表示 n 次试验的结果，其中例如可以假设 A(1 < i < n ) 属于 
集合 X . 此外，设4是我们感兴趣的 X 的某一子集. 

如果 A € A , 则称第4次试验出现了事件九（注意，事先不作诸如：试验是“随 
机和独立地进行的”等，关于试验的“概率”性质之类的任何假设；对于导致事件4 
的“情形”也不作任何假设，…… .） 

其次，假设可以赋予事件4某个数（记作 PM ))， 使得实际上可以认为，在 n 次 
试验中事件4出现的频率 v n { A ), 对于充分大的 n , 与 P ( A ) 的差异很小.而如果 
P ( A ) 较小，那么实际上可以认为，在一次试验中事件4不出现 • 

在《概率论的基本概念》中， A . H . 柯尔莫戈洛夫，在未讨论概率论对于《现实 
世界》可应用性条件细节的情况下，写道“我们……有意识地把经验世界中，关于 
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概率概念的高深哲学著作放在一边”，但是在第一章引言中指出，存在概率论的应用 
领域，其中“与‘偶然性•和‘概率’概念等词的本意毫无关系”（见 [24]). 

三十年后， A . H . 柯尔莫戈洛夫又回到概率的可应用性问题（见 [32] 〜 [37 j )， 对 
于该问题的解，他提出两种（“第一种”和“第二种”）处理方法，相应为“公理化随 
机性”的概念和“算法的复杂性”的概念.他这时特别强调 [37], 与定义了无限序列 
( zuy ) 的 P . 米泽斯和 A . 乔尔奇不同，他对于“随机性”概念的处理方法，带有 
严格有限性， 即涉及 有限长 度序列 （. TW . 、 x n )、 N 彡1 (下面[ 38 ]的情形称为 链)， 
这实际上是现实中的情形. 

“公理化随机性”是这样引进的. 

设 ( xux 2 r - , x N ) 是以长为 N(n ^ N ) 的二进制々= 0,1 链. 称此链关于（有 
限） 容许算 法的全 体少是 （ n ， e )- 随机的， 如果存在这样一个数 p (= P ({1}))， 使对于 
利用某个算法4 €中，由 （ a ： i ，： E2 , … , x N ) 得到的任何链（“…，0 ( m < N 、 
出现“1 ”的频率与 〃 m ( x ';{ l }) 离 p 的差异不大于& (算法的全体0中导致长为 

m < n 的链，不予考虑). 

A . H . 柯尔莫戈洛夫在 [32] 中证明，假如对于给定的 n 和0 < e < 1，容许算法 
的个数不大于 

iexp {2 ne 2 (l - e )}, 

则对于每一个0 < p < 1和任意 N ^ n , 存在具有 （ n ， e )- 随机性（“公理化随机性”） 
的链 yX N ). 

由于容许描绘和选择算法的不确定性，在上面描绘的分出“随机”链（像米泽斯 
情形一样）的方法，有一定任意性.这时这一算法类明显不会太大，否则“公理化随 
机”链的集合成为空集.与此同时，总是希望容许算法类构造简单（例如可以用表格 
表示). 

在概率论中形成一种完全确定、加强不同类型的、关于“典型随机实现相当不 
正规的，十分复杂的”概率论点的观念. 

因此，如果倾向于，使链及序列“随机性”的算法定义，最大限度地接近关于随 
机实现构造的概率概念，则中中的算法（的全体）容许挑出“非典型的,容易剔除的” 
链，把那些充分非正则的，十分复杂的定为“随机的” • 

这种理由导致 A . H . 柯尔莫戈洛夫的“第二种”处理方法，导致“随机性”概念， 
其中着重点不是所考虑的算法“简单”，而是链本身的“复杂性”和“径直地”引进 
“复杂性的”某个数字特征，使之表示形成该链时“非正则性”程度. 

这一数字特征就是单个链 z 关于算法4 的所谓“算 法的” （或“ 柯尔英戈洛夫 
的”） 复杂性 K a { x \, 形象地说， Ka ( x ) 定义为满足如下条件的二进制链的长度：在算 
法（机器、计算机…… ） 的“入口”输入次容许同一链在“出口”再现. 

正式的定义如下. _ 

设 X ：是一切有限二进制链 ( Xi ， X2 , …， x n ) 的全体，以 | x |(= n ) 表示链的长度， 
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而$是某一算法类.实数 


Ka(x) = min {| p | : A ( p ) = x}, 

称做链关于算法的 复杂性.数 K a ( x ) 是在算法4的“入口”的二进 
制链 p 的最小长度 ( H ), 并且在链的“出口” x ( A ( p ) = x ) 将得到恢复. 

A . H . 柯尔莫戈洛夫在 [34] 中证明，（对于某一重要算法类少）有如下 结果: 存在 
这样的通用算法对于任意 Ae ^ 存在常数 C ( A ), 使对于任意链 : C e E , 有 

Ku ( x )^ K a ( x ) + C ( A ), 


而对于通用算法 V 和 f /〃， 

\Ku\x) - Ku^(x)\ 彡 C，x € 

其中 C 不依赖于 x e E - (A. H. 柯尔莫戈洛夫在丨 34j 中指出， P. 所罗门诺夫丨 P. 
Cojiomohob ] 同时证明了类似的结果). 

这一事实（以及对于“典型”链 x ， AV ( x ) 的 | x | 值随增长而增长）决定如下定 
义••量 K ( x ) = Ku ( x ) 称做链乙关于算法类企的复杂性， 其中 [/ 是伞中的某 
一通用算法. 

暈 K ( x ) 通常称做“对象” x 算法复杂性或柯尔莫戈洛夫复杂性 . A . H . 柯尔莫 
戈洛夫把该暈看作包含在“有限对象”： r 中的算法信息质量的度量，并且称之为 rr 
的熵.并且认为这个概念是比概率信息量的概念更基本，而为概率信息量的要求知 
道在“对象” x 上的概率分布. 

量 K ( x ) 还可以视为“文本”: r 的压缩程度的指标.如果在类少中包含元素的简 
单计数算法，则很明显（精确到常数）链 rr 的“复杂性” K ( x ) 不大于其长度另一 
方面，由简单的讨论可见，“复杂性”小于 K 的（二进制）链 z 的数量不大于 2 K 一 1， 
等于小于长度 K 的不同“输入”二进制序列的个数： 

l + 2 + *-*-f-2 /c - 1 =2 K -1. 

其次，通过简单的论证（例如，见 [15 j ) 可以证明> 存在这 样的链=其“复杂性” 
(精确到常数）等于（且不可能大于)长度 |: r |， 并且容许强压缩（“复杂性”为 n - a 的 
链的比率不大于2<).由全部所作的这些论述，自然地导致如下的定义 :算法 的“复 
杂性” K ( x ) 接近 | rr | 的链 x 称为（关于算法类 屯） “算法上随机的”. 

换句话说，算法的处理方法@判定这样一些链 x 为“随机的”，假如其“复杂性” 
是最大的 （ K (: r ) 〜 | z |). 

A . H . 柯尔莫戈洛夫引进的“复杂性”的概念，产生了整个算法随机性的方向, 
称为“柯尔莫戈洛夫复杂性”，在最广泛的数学及其应用领域得到众多的应用（例如， 

详见[38]， [45 卜 [48], [22]). 

①即前面提到的柯尔莫戈洛夫“第二种”处理方法，对应于“算法的复杂性' —译者 
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在概率论中.这些新概念是一系列工作的 开端： 说明对于何种链和序列的‘•算 

法随 机性' 概率统计规律性（诸如，强大数定律，重对数定律 .） 成立（例如， 

见 [16]), 从而有可能运用概率论的方法及其结果，而在前面己经指出的那些领域（见 
1241), “与‘偶然性’和•概率’概念等词的本意毫无关系”. 
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(第四章〜第八章） 


第四章 

§1. A. H. 柯尔莫戈洛夫 “0 - 1” 律在他的书 [321 中. 关于 E. 休伊特 （ E. Hewitt) 
和塞维奇 “0- 1” 律，亦见 A. A. 博罗夫科夫 （ A. A. Bopobkob) [7], L. 布赖曼（几 
DpewMaH) [8|, R. B. 阿什 （ R. B. Ash) (81]. 

§2 〜 §4. 这里是 A. H . 柯尔莫戈洛夫和 A. fl . 辛钦得到的基本结果（见 [32} 以 
及其中的文献).亦见 B. B. 彼得罗夫 （ W. W. Petrov ) 關 和， W. F. 斯托特 （ W. F. 
Stout) [GG]. 关于数论中的概率方法，见库比柳斯 （ ft . Ky6HJnoc)®[36). 

我们现在对于伯努利概形，回忆“强大数定律和重对数定律”的历史. 

关于强大数定律最早的工作,出现在 E . 博雷尔如下论 文中： “关于集合[0, 1) 中数 

的正态性” (E. Borel. Les probabilities denombrables et lours applications arit.hmetiqes 
// Rondiconti del Circolo Matematico di Palermo. 一 1909. — V.27 — P.247 〜 271) •如 
果使用 §3 例 2 的记号，则对于量 


n 

S n 二乞 

k=l 




E . 博雷尔所得结 果是： （关于勒贝格测度）对于几乎一切 a ; e 10,1)，存在 TV = 
当 斤…）时，有 

|5 n (u；) 


$ 


ln(n/2) 

\/2n 


① 立陶宛数学家 （1921 年 〜)， 立陶宛科学院院士，立陶宛维尔纽斯大学校长.——译者 
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这样，特别，几乎必然(处处 ） S „ = o(n). 

下 一 步由 F. 豪 斯多夫 （ F. Hausdorff，Grundzuge der Mengenlehre， — Leipzig: 
Veit ， 1914 )， 证明了，对于任意 £： > 0, 几 乎必然 = o(n l/2 ^ e ). 

在 1914 年， G. H. 哈代 （ G. H. Hardy) 和 J. E. 李特尔伍德 （ J. E. Littlewood, 
Some Problems of Diophantine approximation/ / Acta Mathematical — 1914. — ， V.37, 

— P . 155-239) 证明，几乎 必然乂 = 0(( nInn ) 1 ^). 

在 1922 年， H. D. 斯坦因豪斯 （ H. D. Steinhaus, Les probability denombrables 
et leur rappot a Id theorie de la mesure//Fundamenta Mathematicae. — 1923. — V4, 

一 P.286 〜 310) 将 G. H. 哈代和 J. E. 李特尔伍德的 结果精 确化，证明几乎必然，有 


limsup 


S n 

2n In 


^ 1 - 


1923 年 A. 辛钦 （ A. J. Khinchin，Uber dyadische Briiche//Mathematische 
Zeitschrift — 1923. — V18, P.109 〜 116) 断定，几乎 必然义 = 0(\/n In Inn). 

最后， 1924 年 A. il. 辛钦 （ A. J_ Khinchin，Uber einen Satzder Wahrscheiniichkeit- 
srechnung//Fundamenta Mathematicae, — 1924. — V.6. — P.9 〜 20 到最终的结果 

(“重对数定律 ”)： 几乎必然，有 


limsup 


S n 

(n/2) In In n 


(需要指出，对于所考虑的情形， 

。 li 2 1 

a 2 =E I(^ k = 1 ) - - = 

• 钃 

因为出现了因子 n/2, 而不是因子 2n; 对照 §4 定理 1 的提法). 

如同 §4 提到的，下一步就是对于广泛的独立随机变量类，证明重对数定律，这 
是由 A. H. 柯尔莫戈洛夫于 1922 年实现的 （ A. N. Kolmogoroff，Uber das Gesets des 
iterierten Logarithmus//Mathematische Annalen ， 一 1929. — V.101 ， 一 P.126 〜 135). 

§5. 关于这些问题，见 B. B. 彼得罗夫 [92] ， A. A. 博罗夫科夫 [ 7 ], D. 达昆纳-卡 
斯特里 （ D. Ducunna-Castelle) 和 M. 杜弗劳 （ M. Duflo) [86]. 


第五章 

§1〜 §3. 在叙述（强）平稳随机序列时,借鉴了书籍: L . 布赖曼 I 8 ],几 r , 希奈 （ fl . 

r. CnHaw) [63], J. 兰拍蒂 （ J. Lamperti) [38]. A. M. 加尔西亚 （ A. M. Garsia) [12] 给 
出了最大遍历性定理的简单证明. 
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§1. 关于（广义）平稳随机序列理论见下列图书： lO . A . 罗扎诺夫 （ K ). A . 
PosaHoo) [60], M . H . 基赫曼 （ M . M . r^xMaH) 和 A . 斯科罗霍德 （ A . B. Cko- 
Poxoa) [13], [14]. A . H . 柯尔莫戈洛夫常在讲课时举例 6. 

§2. 关于正交随机测度和随机积分，亦见 J . L . 杜布 （ J . L . Doob ) 1201，基 
赫曼和 A . B . 斯科罗霍德 [14 j , IO . A . 罗扎诺夫 [60 j ， R . B . 阿什和 M . F . 加德纳 M . 

F . Cardner [82]. 

§3. 谱表现 （2) 是 H . 克拉默 （ H . Cramer ) 和 M . 洛埃甫 ( M . Loeve ) 得到的（例 
如，见142仏在 A . h . 柯尔莫戈洛夫的著作中，（在其他术语下）含这样的表现. 
亦见如下著作： J . L . 杜布120]， K ). A . 罗扎诺夫[60]， R . B . 阿什和 M . F . 加德纳 M . 
F . Cardner [82]. 

§4.在 E . J . 汉南 （ E . J . Hannan ) 的书 [71] 和 [72 j 中，有协方差函数和谱密度的 
统计估计问题的详细叙述. 

§5〜§6,亦见下列图书： IO . A . 罗扎诺夫[60]， J . 兰珀蒂 [38 j , M . H . 基赫曼和 A . 
B . 斯科罗霍德 [ I 3 ]， [ I 4 】. 

§7. 这部分内容，是按 P . LU . 利普彩尔 （ P , III . Jlmiuep ) 和 A • H • 施利亚耶夫 
的书 [41 j 叙述的. 

第七章 

§1. 鞅论的多数基本结果是 J . L . 杜布得到的 [201. 定理1包含在 P . - A . 麦耶 
( P . - A . Meyer ) 的专著 [47] 中.亦见， P . - A . 麦耶的书[48]， P . III . 利普彩尔和 A . H . 
施利亚耶夫的书[41]， M . M . 基赫曼和 A . B . 斯科罗霍德[14]， J . 扎克德 （ J . Jacod ) 
和 A . H . 施利亚耶夫 [87]. 

§2. 定理 1 常称为“关于自由选择的变换”定理， [20). 关于恒等式 （ 13) 和 （ 14 )， 
以及 A . 瓦尔德基本恒等式，见书 

§3. 第一个不等式 （ 25), 是 A . 凡辛钦于 1923 年在其论文 （ A . J . Khintchine , 
Uber dyadische Briiche//Mathematische Zeischrift — 1923. — VI 8 ， R 109 〜 11 6) 中， 

在证明“重对数定律”时得到的.为说明是什么使 A . 凡辛钦必然会得到该不等式， 
我们提醒注意， E . 博雷尔和 F . 豪斯多夫证明强大数定律的概形（亦见上面对第四章 
§2〜§4的评述). 

设 心 ，^…是独立同分布随机变量列，且 PUi = = P {& = -1} = 1/2 ( 伯 

努利概形)， S n = & + ." + ^. 

E . 博雷尔的证明“几乎必然 S n = o ( nY y 的实质如下：由于对于任意 (5 > 0,有 

3 

硕， 
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贝 1 J 当// — X 时 



因此，根据博雷尔、坎泰利引理(第二章 §10), 几乎必然 Sjn 0. 

F . 豪斯多夫的证明，对于任意£ > 0, “几乎 必然& = o ( n ^ y \ 是类似地进行 
的：因为 E 5 ^ r - 0(/ i r ), 对于任意整数 r > 1/(26：), 则当 /z — oo 时 


sup 

n 




入 ,1/2+ 









k l / 2 ^ e 











人， 1/2+ 


2? 




k r 


f^r+2er 

k^n 


0, 


其中 c 是常数.由此（仍然根据博雷尔-坎泰利引理）可得，几乎必然 


"l/2 +芒 



由以上的讨论可见，证明的关键是对于概率 P {|5 n | ^ t ( n )} 得到“好”估计, 
其中对伯雷尔， f ( u ) =心豪斯多夫 」( n ) = (对哈代和李特尔伍德， i ( n ) = 

(n In ")"2). 

iH 是为得到概率 P{\S n \ ^ f (/0} 的“好”估计 . A . 几辛钦用到他的“辛钦不等 
式” （ 25) (确切地说，这些不等式中的第一个). 

关于辛钦（右和左）不等式对于任意；> > () 的推导，以及在 （25) 式中关于常 
数枣和％之最优性的证明，见 r. 佩舍基尔 （ r . riemKMp) 和 A . H . 施利亚耶夫 

的综述‘性文章： HepaoeH-cTBa Xhh^hhb m MapTHHrajiLHoe pacmHpeHHe cc}>epbi hx 


贫 CTBMfl (辛钦不等式及其应用范围的扩展) //YcnexM MaTeMaTHMecKHX HayK. 


1995 年， T . r )0, 5. c-Tp. 3 〜 (i2. 

由 （ 25) 式的第 一个不 等式，当/ ; = 2m 时， A . fl . 辛钦得到，对于任意《 > 0, 


P{\x n \ >t}^ r 2m E\x n \ 2m ^ ^|r 2m [x]^ 

^ 1 


由斯特林公式 


(2m)! 

2^m! 





m 


其中 D = >/! 因此，若设 m = [ t 2 /( 2 \ X ) l)l 则有 


P{]X n \>t}^D 


2m[X\ 


2 


et 2 


彡 De ~ m ^ D exp < 1 - 


t 2 


2 闪 



De exp 


t 


2 


2阅 



cexp 
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.：m - 


其中 c = = H . 

由此估计.可得不等式 


P{\S n \>t] 

A. H . 辛钦曾经利用该式，证明* S n = 0(\//# In In n ) ( a . c _). 

在 Y . S . 乔 （ Y. S . Chow ) 和泰切尔 （ H . Teicher ) 的书中 [73]， 有大量在这一节引 
用的不等式.定理2属于 E . Lenglavt [39]. 

§4.见 J . L . 杜布的专著 [20]. 

§5. 这里叙述的内容遵循如下读者的文章: K ). M . 卡巴诺夫 （ lO . Ka6aHOB), 
R III. 利普彩尔， A . H. 施利亚耶夫 l 26 】， H. 恩格尔伯特 （ H. -1. Engelbert ), A . H. 
施利亚耶夫 [79 j . 以及奈维尤 （. J . Neveu ) 的书 [5( 小定理4和例是 P . III. 利普彩尔 
提供的. 

§6. 这里对“绝对连续性和奇异性”问题提供的处理方法.以及所介绍的结果， 
包含在 K ). M . 卡巴诺夫， P . III . 利普彩尔 . A . H . 施利亚耶夫的工作 [2 Gj 中. 

§7. 定理 1 和定理 2 世界语属于 A. A. 诺维科夫 （ A. A. Hobhkob) [52；. 引理 1 
是著名的吉尔萨诺夫 ( rnpcaHoe ) 定理的“离散 ” 类似（见 [41]). 

§8. 亦见 R III . 利普彩尔和 A . H . 施利亚耶夫的书[91]，丄扎克德和 A . H •施 

利亚耶夫 187], 在该书中讲述相当一般情形的随机过程论（鞅，半鞅 •••••_). 

§9. 这里叙述遵从 [98], [100]. 对伊藤清 （ It6 Kiyosi ) 公式的推广，所叙述的方法 
的发展，见 H. 福尔馱 （ H. Follmer), Ph. 普罗泰尔 （ Ph. Protter) 和 A. H. 施利亚耶 
夫的文章 [101]. 

§10. 关于保险中的鞅方法，见格贝尔 （ H. Gerber ) 的书 [123], 所作证明接近[叫 
中相应的证明. 

〜 §12. 涉及鞅方法，在金融数学和金融工程学中的应用问题，较为详细的叙 
述，见 [100]. 

§13. 最优停止规则主要专 著是： E. B. 邓肯 （ E. B. Dynkin) 和 A. A. 尤什克维奇 
(A. A. lOuiKeBMM) [102], H. R. 罗宾斯 （ H. R. Robbins), D. 西格蒙德 （ D. Sigmund) 
和 Y. S. 乔 [5D], A. H. 施利亚耶夫 [78j. 

第八章 

§1 〜 §2. 关于马尔可夫链的定义和基本性质，亦见下列 著作： E. B. 邓肯和 A. A. 
尤什克维奇 [102], E. B. 邓肯 [21] ， A. 几温策尔 （A •几 BeHTuejib) [11], J. L. 杜布 
[20], M . M. 基赫曼和 A. B. 斯科罗霍德 [14], L. 布赖曼 问， 钟开莱 (Kai Lai Chung) 
[75],[120], D. 雷夫尤兹 （ D. Revuz) [117]. 

§3 - §7. 关于马尔可夫链的，极限，遍历和平稳概率分布问题，见 A . H . 柯尔莫戈 
洛夫文章丨281，和如下 书籍: W . 费勒 （ W . Feller ) [69], A . A . 博罗夫科夫⑺， [104], R . 
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B. 埃什 （ R. B. Ashi )， 钟开莱 [120] ， D. 雷夫尤兹 [117], E. B. 邓肯和 A. A. 尤什克维 
奇 [102]. 

§8. 简爷随机游动.是最简单的马尔可夫链的经典例子，对此情形曾经发现了许 
多规律性（例如.常返性于非常返件，遍历性等等).有关内容在许多图书中都有，例 
如，上面引用过的书 [7j ， [80j ， [120] ， [117]. 

§9. 统计序列分析问题 （ A. 瓦尔德 [9] ， M. de 格鲁特 （ M. de Gloot) [18], S. 萨克 
斯 （ S. Sacks) [22], A. H. 施利亚耶夫 [78]), 决定了对于最优停时问题的兴趣.关于 
马尔可夫链的最优停时规则本身，有如下 著作： E. B. 邓肯和 A. A. 尤什克维奇 [102], 
A. H. 施利亚耶夫 [78]), P. 比林斯利 （ P. Billingsley) [106] 的某些章节.最优停时问 
题的鞅方法，见 H. R. 罗宾斯， D. 西格蒙德和 Y. S. 乔的专著 [591. 

概率的数学理论形成的简史 

该简史是本书的作者，为 A. H. 柯尔莫戈洛夫的专著《概率论的基本概念》 [32j 
第三版.作为补充而写的. 
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名词索引 


(汉语拼音为序，右上角带“ 1 ”者为第一卷页码) 


L p - 收敛275 1 
J 8( C ) 155 1 
J ^{ D ) 156 1 

( B ， S ) -金融市场206 
完全的〜213 
CRR 模型211,223 
( E , 冢) 185 1 
U - 曲线99 1 
A - 系 144 1 
tt - 入一系 144 1 

7T -系 144 1 

0-1 律（见定律） 

X 2 分布 162 1 , 163 1 
F 分布 163 1 
B 分布 163 1 
r 分布 163 1 
t 分布 

X 分布252 1 

A 

埃尔米特多项式292 1 
埃森不等式 319 1 
按变差收敛392 1 
按分布等价性（相等）386 1 


按分布收敛275 1 ，355\ 385 1 
按箱分配质点7 1 


B 

保测变换35 
巴拿赫空间283 1 
白噪声52 

半不变置，混合的 312 1 
〜简单的 314 1 
半范数 281 1 
半连续函数343 1 
邦弗尔罗尼不等式 15 1 
贝尔不等式44 1 
贝里-埃森不等式 
贝塞耳不等式288 1 
贝叶斯定理26 1 

〜定理，广义的242 1 
〜公式25 1 
本质上确界283\ 228 
“表决”定理 104 1 
必然事件9 1 
变差接近程度392 1 
变换 

埃舍〜210 
条件-212 


保测〜 35 
遍历〜38 1 
伯努利〜45 
不变〜38 
几乎 〜〜 38 
度量可递〜38 
傅 里叶〜299 1 
柯尔莫戈洛夫〜45 
克拉默〜29 

拉普拉斯-斯蒂尔切斯〜38 
遍历分布的基本〜279 
遍历性115\38 

〜定理 115^44 
〜定理（均方意义 F 的）44 
域大〜〜 40 
标准差39 1 , 254 1 
标准概率空间208 1 
伯恩斯坦 多项式53 1 
〜估计 * 54 1 

伯努 利概型44 1 ,54 1 

〜系列357 1 , 363 1 
〜推移45 
博雷尔 不等式334 1 
〜代数 149 1 
〜 函数178 1 
〜集 149 1 
〜-坎泰利引理277 1 


〜空间 

241 1 

博弈115 


〜平均持续时间 

不利〜 

86\ 115 

有利〜 

115 

公平〜 

115 

博雷尔正规数 

19 


博泽一爱因斯坦统计8 1 
泊松过程202 
不变原理367 1 
补偿117 
不等式 

奥塔维安尼〜146 


冈 W 尔〜 16 1 
埃森〜 319 1 
邦弗尔罗尼〜 15 1 
贝尔〜 44 1 

贝里- 埃森〜 61 1 , 363 1 , 406 1 

贝塞耳〜288 1 

变分〜230,300 

博 雷尔〜 334 1 

伯克霍尔德〜138 

布尔〜 140 1 

杜布〜 132 

戴维斯〜138 

大偏差概率〜68 1 ，143 

德沃列茨基〜147 

范数〜 281 1 

费雷歇〜 15 1 

刚贝尔〜 16 1 

哈伊克-雷 内伊〜 147 

赫 尔德〜 202 1 

柯尔莫戈洛夫〜8 

柯尔莫戈洛夫〜（单侧类似 ） 12 

柯西〜布尼科夫 斯基〜 37 1 ，201 1 

柯西〜施瓦兹〜37 1 

拉奥〜克拉默〜 71 1 

列维〜27 

李雅蒈诺夫〜201 1 

马尔钦凯维奇〜-齐格蒙特〜137 

闵可夫 斯基〜 202 1 

切比雪夫〜（二维情形 ） 54 1 

切比雪夫〜46 1 , 200 1 

斯莱皮恩〜334 1 

施瓦兹〜37 1 

辛钦〜137 

延森〜201 1 

延森〜 （条件数学期望） 251 1 
最大〜132 
不放回抽样 6\7\20 1 
不可能事件9 1 
不利博弈86 1 
不确定性度量 51 1 
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布尔不等式 140 1 
蒲丰针236 1 

布朗 

〜桥330 1 
〜 运动330 1 
〜运动的结构330 1 
〜运动过程330 1 


初等〜〜58 
正交〜467 1 , 164 
具有正交值的〜58 
测度的绝对连续性204 1 
〜开拓 159 1 
〜收缩 172 1 
〜直积29 1 


C 

测度 


58 

〜的奇异性398 1 ，164 
不变〜 256 
带符号〜 391 1 
等价〜398 1 , 164 
埃舍〜 210 
概率〜 135 1 

奇异〜〜 164 1 ，165 1 , 398 1 , 164 
绝对连 续〜〜 163 1 ， 204\ 398 1 , 164 
局部 〜〜〜 165 
〜〜〜〜的充分条件168 
计数〜394 1 
a - 可加〜 135 1 
勒贝格〜 161 1 ，166 1 , 168 1 
勒贝格-斯蒂尔切斯〜 

离散〜162\ 394 1 
内〜 162 1 
外〜161 1 
完备〜161 1 
完全 可加〜 135 1 
n 维勒贝格〜 168 1 
维纳〜 175 1 
优（强）〜463 1 
有限可加〜134 
o - 有限〜 135 11 
有限可加随机〜58 
原子〜284 1 
在 “0” 连续的〜 136 1 
平稳〜256 
随机〜 58 


测度序列的相合性400 1 

〜，完全町区分的401 1 
〜，相互临近的401 1 
〜的完全可区分性401 1 
乘积分布21 1 
充分统计量246 1 
最小〜〜 250 1 
〜子 <7- 代数246 1 
〜子代数，最小的249 
抽彩 13 1 
重对数定律24 
重合问题 12 1 
抽样，不放回的6 1 ,7 1 > 20 1 
〜放回的5 1 ,? 1 
稠密随机变量序列 401 1 
初始分布 110 1 
垂线288 1 , 297 1 

D 

大偏差68 1 , 29 

〜概率 不等式68 1 
大 数定律 44 1 , 49 1 , 356 1 
伯努利〜48 1 
泊松〜357 1 
马尔可夫链〜 117 1 
强〜13 

〜〜的收敛速度28 
辛钦〜 348 1 

代数 

集合诱导的〜 141 1 
a - 〜 135 1 ，141 1 ，182 1 
随机变量诱 导的〜 182 1 


. 354 • 


名词索引 


分割诱导的〜 183 1 
〜的直积 150 1 
剩余〜2 
尾部〜2 
带符号测度391 1 
单调类 142 1 

〜定理 142 1 
〜函数形式 148 1 
〜 收敛定理 194 1 

导数 

拉东-尼克戴姆〜204 1 
勒 贝格〜 398 1 
等价测度398 1 , 164 
等价随机变量 281 1 
等距对应63 
邓肯 d - 系 144 1 
第二博雷尔-坎泰利引理284 1 
第二类错误392 1 
〜概率 392 1 
第一类错误392 1 
〜槪率392 1 

定理 

贝 叶斯〜 25 1 ,241 1 

贝里-埃森61 

毕达哥拉斯〜298 1 

毕达哥拉斯-辛钦40 

波利亚随机游动〜288 

遍 历性〜 115 1 , 43 

遍历分布的 基本〜 279 

最 大〜〜 40 

测度开拓〜 169 1 ，173 1 

单调类〜 142 1 

单调收敛〜 194 1 

随机金融学的第一基本〜208 

随机金融学的第二基本〜213 

棣莫弗-拉普拉斯〜60 1 

波利亚〜（关于特征函数的） 310 1 

杜布〜120, 142, 148 

杜布〜（关于■最大不等式的）148 

杜布〜（关于下鞅（半鞅）分解的）117 


杜布〜（关于时间随机替换的）120 
杜布〜（关于下鞅（半鞅）收敛性的) 
148 

杜布〜（关于相交次数的）142 

傅比尼〜207 1 

格里汶科和康特利〜 411 1 

广义贝叶斯〜 242 1 

过程的存在性〜268 1 

赫利〜350 1 

赫利-布雷〜347 1 

赫尔格洛茨〜55 

吉尔萨诺夫〜（离散型变式）179 

局部极限〜71, 79 

柯尔莫戈洛夫-辛钦〜8 

〜〜 “两级数”〜10 

〜〜测度的幵拓〜208 

〜〜测度的幵拓〜204 

〜〜过程的存在性〜268 1 

〜〜“三级数”〜11 

〜〜 内插〜 90 

卡拉泰奥多里〜 159 1 

坎泰利〜14 

拉奥-布莱克韦尔〜251 1 

拉东-尼科戴姆〜204 1 

列维〜 224 1 , 150 

勒贝格积分中的变量替换〜206 1 

勒贝格控制收敛〜 196 1 

连续性〜353 1 

马钦凯维奇〜 310 1 

麦克米兰〜52 1 

曼-沃 尔德〜 388 1 

默瑟〜333 1 

泊松〜62 1 , 357 1 , 419 1 

庞加莱〜268 1 

庞加莱〜（关于回返性 ） 36 

平稳分布的基本〜279 

普罗霍罗夫〜349 1 

切尔诺夫〜31 

图尔恰〜270 1 

维尔斯特拉斯〜53 1 
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伍拉姆〜352 1 
辛钦 - W 赫纳〜309 1 
因子分解〜247 1 
正态相关〜304 
正态相关〜（向量形式）258 1 
屮心极限〜353 1 ，356 1 , 259 1 , 364\ 
369 1 

独立随机变贵 的〜〜 182 
基本〜〜 184 

“关于自由选择的变换”〜337 
(定） 律 

博雷尔0-】〜4 
柯尔莫戈洛夫0 1〜3,151 
休伊特和寒维奇 0-1 〜6 
反正弦〜92 1 , 97 1 
大数〜44 1 ，49 1 , 356 1 (亦见“大数定 
律”） 

重对数〜24 
定义类345 1 
定义收敛类345 1 
动态规划301 
独立性23\ 27 1 

集合（事件）的〜27 1 , 28 1 , 48 1 
集合代数的〜27 1 ，28 1 ，49 1 
集系的〜27 1 
两两〜28 1 ， 41 1 
随机变量的〜34 1 ， 187 1 
随机元的〜 187 1 

參 

增最的〜331 1 
独立增量过程331 1 

度置 

范基 （Fan Ky ) 〜386 1 
莱维-普罗霍罗夫〜381 1 
对数的主值361 1 
对数利润206 
多维超几何分布20 1 
多项式 

埃尔米特〜292 1 
伯恩斯坦〜53 1 
泊松-沙利耶〜293 1 


陚范泊松-沙利耶293 1 
定义类345 1 
定义收敛类345 1 

E 

二次 

〜变差（鞅的）118 
〜协方差（鞅的 ） 118, 195 
〜特征 （鞅的）118 
二维高斯密度257 1 
二维切比雪夫不等式54 1 
二项分布 12 1 
二项随机变量33 1 

F 

(方）法 

矩〜353 1 
蒙特卡罗〜237 1 
特征函数〜353 1 
一个概率空间〜385 1 ，387 1 
最小 二乘〜 161 
罗 宾斯- 门罗〜155 
法图引理 196 1 
范基 （Fan Ky ) 度 g 386 1 
范数不等式281 1 
反射原理92 1 
反射瘠291，292 
反正弦律92 1 ,97 1 
方差 39 1 ，254 1 
样本〜266 1 

方程 

动态规划〜301 
更新〜373 1 
柯尔莫戈洛 夫一査 普曼〜 

248 

后向柯尔莫戈洛夫一査普曼〜 113 1 
前向柯尔莫戈洛夫一査替曼〜 114 1 
瓦尔德-贝 尔曼〜 301 
非负定矩阵255 1 


非经典条件369 1 
非相关性41 \ 254 1 
费希尔信息量 71 1 
弗希尔不等式 15 1 
费叶尔核76 
分布 

X 2 (卡方）〜 163 1 ， 262 1 
F 〜 163 1 
B 〜 163 1 
r 〜 163 1 


双指数分布〜265 1 
随机向量的概率〜34 1 
韦布尔〜 265 1 
n 维髙斯〜 168 1 
稳定〜376 1 
学生〜 

在丨 a ，6 j 上的均匀〜 163 1 
正态〜64 1 ， 163 1 
〜的卷积261 1 
〜 的熵50 1 


t 〜 163 1 , 263 1 〜的相合性（等价性）373 1 ，386 1 

X 〜 262 1 分布函数33 1 , 34\ 159 1 


贝塔〜 （ B ) 163 1 

广义〜 165 1 

遍历〜 117 1 

随机变量的〜 33 S 34 1 , 159 1 

伯努利〜33 1 

随机向景的〜34 1 

泊松〜63 1 ， 162 1 

n 维〜 167 1 

不变〜 117 1 

稳定〜376 1 

超儿何〜20 1 

无限可分〜373 1 

乘积〜21 1 

正则〜239 1 

初始〜 110 1 

分割 19 1 

对数正态〜260 1 

分解 

多维〜34 1 

沃尔德〜78, 82 

多维超 几何〜 20 1 

点则序列的〜185 

多项〜 19 1 

杜布〜 117 

二项〜16\ 33 1 

哈恩 （ Hahn ) 〜392 1 

负二项〜 178 1 

克里克伯格〜146 

伽玛 （ r ) 〜 163 1 

勒 贝格〜 398 1 , 165 

高斯〜 64\ 163 1 

分类 

过程的概率〜 186 1 

马尔可夫链状态按代数性质〜 

几何〜 162 1 

〜〜按渐近性质〜264 

卡方〜 

分配问题7 1 

柯尔莫戈洛夫〜 418 1 

分位函数387 1 

柯西〜 163 1 

分支过程 112 1 

离散 均勻〜 162 1 

封闭线性流形 291 1 

离 散型〜 162 1 

弗米 -狄拉 克统计8 1 

逆二项〜 178 1 

数值随机变量 185 1 

帕 斯卡〜 162 1 

傅里叶变换299 1 

平稳〜 117〗，257,258 

赋范埃尔米特多项式292 1 

奇异〜 164 1 

赋范泊松-沙利耶多项式293 1 

指数〜 163 1 

放回抽样 b \7 l 


258 
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概率 

古典型〜 12 1 
保险中的破产〜201 
第一类 错误〜 392 1 
第二类 错误〜 392 1 
结局的〜 II 1 
破产〜 82 1 , 86 1 
首次进入状态 j 的〜 126 1 
首返状态 j 的〜126^265 
验后〜26 1 
验前〜 26 1 
〜模型 II 1 , 69 1 , 246 
〜测度 135 1 
槪率空间 II 1 ， 161 1 
标准〜268 1 
完备〜 161 1 
过滤〜 787 
概率论的公理 13 V 
槪率檨型69\ 246 ! 

广义的〜 134 1 
槪率统计模型69\ 246 1 
〜 试验246 1 
刚贝尔 不等式16 
髙斯 

〜分布的半不变最 315 1 
〜分布的均值，方差254 1 
〜过程330 1 

〜马尔可夫 过程 269 1 , 332 1 
〜随机变置262 1 
〜系统323、329 1 
〜向景，分貴独立性准则326 1 
〜向量323 1 , 326 1 
〜 序列330 1 

格拉姆-施米特正交化290 1 

更新 

〜过程272 1 , 273 1 
〜序列80 


〜理论的基本定理129 

公式 

贝叶斯〜25 1 
分部积分〜 217 1 
离散微分〜207 
概率的 乘法〜 25 1 
矩和半+变最换算〜 312 1 
逆转〜306 1 
全概率〜25 1 , 27\ 75 1 
数学期望的换算公式〜205 1 
斯特林〜21 

条件数学期望的换算公式〜205\712 
塞格-柯尔莫戈洛夫〜634 
梯形〜298 
伊滕清〜40, 195, 763 
(离散时间）〜〜195, 198 
(布朗运动） 〜〜 195 
伊滕清变量替换〜195 
估计（置 ）41 1 ， 257 1 


巴特利特谱密度的 

〜 77 

帕赞谱密度的〜 

77 

茄尔边科谱密度的 

〜 77 

“成功”概率的〜 

69 1 

伯恩斯坦〜54 1 


渐近无偏〜76 1 


均方最优〜 41 1 ， 

257 1 

无偏〜69\ 251 1 

,73 

强〜〜 162 


相合〜69 1 , 73, ^ 

74 

有效〜69 1 


最大似然〜22 1 


最优线性〜 41 1 ， 

288 \ 2 


广义 

〜贝叶斯定理 241 1 , 6 
〜分布函数165 1 
〜马尔可夫性238 
〜随机变* 180 1 
规范正交可数基底291 1 
过程 


布朗运动〜330 1 , 183 
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泊松〜 2()2 
独立增 S : 〜331 1 
分支〜 112 1 
商斯〜330 1 
高斯-马尔可夫〜332 1 
更新〜272 1 
马尔 可夫〜 269 1 
条件维纳〜332 1 
维纳〜330 1 
〜的典型轨道 51 1 
〜的轨道 186 1 
〜 的实现 186 1 
过滤92 

〜，。-代数流（族）110 

H 

哈尔系393 1 

赫尔德不等式202 1 ’ 

哈伊克费里德曼择一性172 
海利-布雷引理347 1 
海林格积分395 1 

函数 

半连续〜343 1 
狄利克雷〜 221 1 
分布〜33 1 , 64 1 , 159 1 
峰态〜 300 

分布〜 （随机变量的）33 1 , 215 

分布〜（随机向量的 ） 34 1 

稳定分布〜373 1 

n 维 分布〜 167 1 

更新〜273 1 

构造〜59 

广义分布〜 165 1 

哈尔〜 295 1 

集中〜 321 1 

可测〜 178 1 

拉德马赫〜294 1 

不性〜 32 

调和〜312 


上鞅〜312 
上〜23 
下〜23 
相关〜50 
协方差〜50 
误差〜65 1 
无限可分分布〜273 1 
有限维分布〜267 1 
有限维经验分布〜 441 1 
正则分布〜239 1 
〜的适当集合 148 1 
函数的适当集合 148 1 
哈恩分解392 1 
恒等式 

庞加莱〜 15 1 
斯皮策〜223 1 
瓦 尔德〜 KM 1 

后向 

〜方程 113 1 
〜〜的矩阵形式 114 1 
柯尔莫戈洛夫-査普曼〜方程113 
〜〜的矩阵形式 113 1 
放回抽样5 1 ? 7 2 
换元积分法221 1 
冋归曲线258 1 
混合39 
混合矩 312 1 

混合自回归和移动平均模型55 
赫尔德不等式202 1 

J 

积分 

海林格〜395 1 
勒贝格〜 190 1 
勒贝格-斯蒂尔切斯〜 

黎曼〜 214 1 

上〜〜 215 1 
下〜〜 215 1 

黎曼一斯蒂尔切斯〜191 ' SO ? 1 


名词索引 
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随机〜 59 
伊滕淸〜〜200 
积分极限定理49 1 ,58 1 
局部极限定理49 , ,55 1 

基本定理 

数理统计的〜 411 1 
仲裁理论的（第二）〜213 
仲裁理论的（第一）〜208 

基本事件 4 1 

〜 的巴拿赫空间4 1 ， 138 1 , 283 1 
〜的概率 II 1 
〜 空间21 ' 166 1 
基本收敛340\ 341 1 ,346 1 

基本性 

p 阶平均收敛的〜275 1 , 282 1 
依概率收敛的〜275 1 ，280 1 
以概率1收敛的〜275 1 , 280 1 
极限可忽略性369 1 
集系的独立性 27\ 28 1 
集 （合 ）138 1 

不变〜38,43 
几乎〜〜38 
并〜 9 1 
差〜 9 1 , 138 1 
对称差〜42 1 , 138 1 
和〜 10 1 
交〜9 1 , 138 1 
停止观测〜281 
继续观测〜281 
停止〜83 
篥合代数 138 1 

〜独立性27 1 , 28 l t 49 1 
分割诱导的〜 10 1 
平凡〜 10 1 
几何概率236 1 
几乎 

〜必然 193 1 
〜收敛275 *, 386 1 
〜收敛的柯西准则280 1 
〜不变随机变童38 


〜处处 193 1 
计数测度394 1 
简单随机变量 178 1 
建立过程的坐标方法268 1 
渐近小条件369 1 

〜绝对连续性 401 1 
〜奇异性 401 1 
〜 完全可分性401 1 
〜小性369 1 
角谷择一性168 
P 阶平均收敛275 1 
结局4 1 

〜的空间，即基本事件空间 
〜的槪率 II 1 
经典分布 16 1 
〜模型 16 1 
局部极限定理 49 S 55 1 
矩 191 1 

绝对〜191 1 
混合〜 312 1 
〜法353 1 
〜母函数223 1 
〜问题的唯一性 316 1 

矩阵 

〜的代数性质258 
非负定〜255 1 
随机〜 110 1 
伪逆〜 333 1 
协方差〜255 1 , 325 1 
转移 概率〜 110 1 
卷积（分布的）261 1 
绝对连续 

〜测度 163 1 , 204 1 , 398 1 
〜随机变量 178 1 
〜型概率分布 163 1 ， 204 1 ，398 1 

绝对连续性（测度的） 

〜 充分条件168 
测度的〜204 1 ， SQSijOl 1 

概率分布的〜 

渐进〜400 1 
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均方 


〜收敛275 1 
〜误差257 1 
〜揿优 估计董 42\ 256 1 
均值36 1 

〜向量325 1 

K 

侉尔莱曼矩问题唯一性准则 318 1 
卡尔莱曼准则（矩问题的唯一性） 318 1 
康托尔函数 164 1 
柯尔莫戈洛夫公理化 138 1 
柯尔莫戈洛夫-列维-辛钦表现376 1 
柯西-布尼科夫斯基不等式 37\201 1 
柯西-施瓦兹不等式37 1 
柯西准则 

几乎必然收敛的〜280 1 
V 阶平均收 敛的〜 282 1 
依概率收敛的〜280 1 
可测函数 178 1 


可重置亊件组 140 1 
可交换事件组 140 1 
克罗内克符号292 1 
空集 138 1 

空间 

巴纳赫〜283 1 
基本事件〜 21 1 ，166 1 
基本事件的〜〜4 1 , 138 1 
马尔可夫链的状态〜238 
相空（状态）间〜 110 1 , 238 
〜 L p ( p ^ 1) 的完备性282 1 ，283 1 
〜的直积29 1 , 156 1 
控制性（优势性 ） 135 
库尔贝克信息量400 1 

L 

拉奥-克拉默不等式 71 1 
拉德马赫系294 1 
拉东-尼克迪姆导数204 1 
莱维-普罗霍罗夫度最381 1 


可测空间 135 1 

〜 （ R 肩 R )) 148 1 

〜 ( R n ,^( R n )) 150 1 

〜 （ RX , 方(肢°°)) 152 1 

〜 ( R r ,.^( R r )) 153 1 
〜 （ C 肩 C )) 155 1 

〜 156 1 

〜 1561 
\teT teT / 

可测影射34 

可测性 

关于分割的〜78 1 
雳-〜 78 1 

可交换事件组 140 1 
可逆鞅 120 1 
可数可加 

〜性 135 1 
〜 概寧 135 1 
〜概率测度 135 1 


勒贝格 

〜测度 161 1 ，165 1 ，169 1 
〜导数398 1 
〜分解398 1 
〜积分 190 1 〜 196 1 
〜集合系 161 1 
〜控制收敛定理 196 1 
〜-斯蒂尔切斯测度 161 1 , 165 1 
〜-斯蒂尔切斯积分 191 1 , 20 T 1 
类 

单调〜 142 1 
最小〜〜 142 1 
非周期〜261 
定义〜345 1 
〜 收敛〜345 1 
哈代函 数〜/ / 2 83 
累积量286 1 
离散测度 162 1 
离散更新理论（基本引理 ） 270 
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离散时间随机过程 186 1 , 330 1 
离散型随机变量 178 1 
黎曼积分 214 1 
黎曼-斯蒂尔切斯积分 
利率 205 

单〜206 
复〜 206 

李雅普诺夫不等式201 1 
连续时间随机过程 1 S 6 1 ， 330 1 
连续型随机变景 179 1 
链的吸收状态 110 1 
两两独立性28 1 , 41 1 
滤波器67 

〜的脉冲转移函数67 
卡尔曼-布西〜95, 99 
物理可实现〜61 
罗宾斯-门罗方法155 

M 

马尔可夫 

〜过程269 1 

〜链 109 1 ，110 1 ， 272 1 ，239 


齐次〜 

〜 110 1 ， 139 

广义〜 

〜 238 

常返〜 

〜 265 

非常返 

〜〜 265 

0常返 

〜〜 269 

正常返 

〜〜 269 

不可约 

〜〜 260 

遍历〜 

〜 258 

平稳〜 

〜117】 


〜〜的试验模型 108 1 
〜〜的相空间 110 1 
〜〜的状态空间 110 1 
〜〜状态的巴拿赫空间 110 1 
马尔可夫核243 
马尔可夫性110、238 
狭义〜238 
广义〜238 


推广〜249 
强〜124^251 
麦克斯韦-波尔茨曼统计8 1 
密度 196, 202, 215, 243 
二维高斯〜 

条件分布〜235 1 
n 维岛斯〜 168 1 
闵可夫斯基不等式202 1 
蒙特卡罗方法237 1 , 19 
模型 

埃伦弗斯特〜293 
伯努利-拉普拉斯294 
概率-统计〜 69 1 
混合自回归和移动平均〜586 
(考克斯-罗斯-罗宾斯） CRR 〜 
223 

克拉默-林德伯格〜202 
马尔町夫链的试验〜 108 1 
无限多个结局的 试验〜 133 1 
一维伊金格〜 21 1 
有限多个结局的试验〜 II 1 
母函数223 1 

N 

n 维分布函数 108 1 ，167 1 
ri 维高斯分布 168 1 

〜的特 征函数323 1 
〜 密度 168 1 
〜特 征函数323 1 
n 维勒贝格测度 168 1 
内插90 
内测度 162 1 

P 

帕塞瓦尔等式 291 1 
排列组合 12 1 
庞加莱恒等式 15 1 
匹配（或标准）391 1 
频率45 1 


211， 
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平价购买-出售权225 

平均 

〜平方（均方）收敛275 1 
〜收敛的柯西准则282 1 
〜随机游动时间88 1 
单侧移动〜53 
双侧移动〜53 
平稳分布的基本定理279 
平稳马尔可夫链 117 1 
破产概率82 1 , 86 1 , 200 
破产问题83 1 
谱测度 56 

滤波器的〜特征67 
〜窗76 
〜函数56 
〜密度52 
〜密度的估计73 
〜表示（平稳序列的 ） 62 
〜表示（协方差函数的 ） 55 
普拉特引理222 1 

Q 

齐次马尔可夫链 110 1 
期货218 

奇异测度 ⑺心^明 1 
(相互）〜 398 1 
前向方程 113 1 

〜的矩阵形式 113 1 
前向柯尔莫戈洛夫 -查普 曼方程 113 1 
〜的矩阵形式 1 I 3 1 
强测度394 1 
强大数定律 13 

〜（收敛速度 ） 28 
更新过 程的〜 20 
柯尔莫戈洛夫〜14, 16, 21 
用于蒙特卡罗方法的〜547 
用于数论的〜19 
鞅的〜159 
强函数 


峰态〜300 
M 小〜〜 300 
强大数定律（辛钦）348 1 
强马尔可夫性 125 1 , 251, 252 
强（狭义）平稳序列34 
切比雪夫不等式46 1 , 200 1 
切萨罗求和法284 1 
求概率的古典方法 12 1 
区分假设293 1 
区域 

停止观测〜299 
继续测〜299 
全概率公式24 1 , 75 1 , 77 1 
权（重 ） II 1 

R 

弱收敛340 1 , 341 1 

〜的可度最性 381 1 
弱（广义）平稳序列 

S 

散布程度39 1 
熵50 1 
上积分 215 1 
上积分和 213 1 
上黎曼积分 216 1 
上鞅110 

〜的控制序列230 
射 [ morphism ] (保测变换 ） 35 
时间 

混合〜 312 1 
绝对〜 191 1 
首返〜92 1 

停止〜（停时）83 1 , 102 1 
马尔可夫〜111,203 
示 性函数 32 1 

〜集合的32 1 
事件8 1 , 138 1 
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〜代数 10 1 
〜的独立性27 1 
〜 代数的独立性27 1 
〜的补9 1 
〜的差9 1 

〜的并9 1 
〜的和 10 1 
〜的交9 1 
必然〜9 1 
不可能〜9 1 
不相容〜 10 1 
相容〜 10 1 
对立〜 10 
基本〜 138 1 
可 交换〜 6 
试验29 1 

适当集合原理 143 1 

收敛 

〜速度（强大数定律的 ） 28 
〜速度（中心极限定理的 ） 28 

L p - 275 1 

按变差〜392 1 
按分布〜 275 1 ，355 1 ，385 1 
几乎必然〜274 1 , 386 1 
p 阶平均〜274 1 
均方〜274 1 
平方平均〜275 1 
弱〜 340 1 , 34 1 1 
依测度〜274 1 

依分布（律） 〜 275 1 ，355 1 ，385 1 
依概率〜 274\ 386 1 
以概率1〜274386 1 
首次进入状态 i 的概率 126 1 
首返时间92 1 
首返状态 j 的概率 126 1 
数理统计49 1 , 69 1 
数理统计的基本定理 411 1 
数量积286 1 
数学期望36 1 , 189 1 , 190 1 

〜的性质37 1 , 192 1 , 228 1 


随机变量函数的〜39 1 
条件〜 77\ 225 1 , 227 1 
〜〜的性质37 1 ， 192 1 
顺序统计最265 1 
斯莱皮恩不等式334 1 
斯鲁斯基引理283 1 
斯皮策恒等式223 1 
似然比 107 1 
随机变最32 1 , 214 1 
不变〜38 

不依赖 T 将来的〜111, 203 
二项〜 33 1 
复 数值〜 183 1 
卨斯〜254 1 
广义〜 180 1 
儿乎 +变〜 38 
简单〜214 
绝对连续〜 179 1 
离散型〜 178 1 
连续型〜215 
稳定〜 376 1 
无限可分〜374 1 
〜的独立性34 1 , 187 1 
〜的函数 185 1 
〜矩阵 110 1 
〜向量34 1 , 185 1 
〜序列 lSG ' SSO 1 
〜的完备序列 401 1 
〜游动82 1 ，92 1 
〜的正交规范系287 1 
〜元 185 1 
〜元的独立性 187 1 
随机测度58 

〜〜（有 限可加 的 ） 58 

- (正交的 ） 59 

〜〜（有正交值的 ） 58 
〜〜 （初等的 ） 58 
随 机分置 219 1 , 143 
随机积分59 

伊滕清〜201 
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T 

特征 

相互〜118 
二次〜 117 
滤波器的谱〜67 
滤波器的频率〜67 

特征函数299 1 
稳定〜376 1 
稳定分 布的〜 379 1 
无限可分〜373 1 
〜的例 319 1 
〜法353 1 
〜性质301 1 

条件 

〜维纳过程332 1 
〜分布密度235 1 
〜方差（关于 a - 代数的）227 1 
〜复形（条件的总体 ） 4 1 
〜两点 215 
极限可忽略〜369 1 
一 致〜〜 184 
渐近小〜369 1 
一致 性〜 

克拉默〜28 
李亚普诺夫〜362 1 
林德伯格〜362 1 

条件概率23 1 ,225 1 ,227 1 
关于 a -代数的〜227 1 
关于分割的〜75 1 , 225 1 
关于随机变量的〜76 1 , 227 1 
正则的〜238 
〜分布密度235 1 

条件数学期望80 1 ， 101 1 , 102 1 , 227 1 
〜的性质228 1 
〜的法图引理253 1 
〜的延森不等式 251 1 
〜号下收敛性的定理230 1 
关于 a — 代 数的〜 226 1 


关于事件的〜225 1 , 233 1 ，234 1 
关于随机变量的〜80 1 , 227 1 
广义的〜228 1 , 297 1 
条件维纳过程332 1 
统计独立性27 1 
投影288 1 
凸流形306 
推广马尔可夫性249 


望远性79 1 

第一〜228 1 
第二〜 228 
瓦尔德恒等式 104 1 ， 124 
〜基本恒等式126 
外推85 
外测度161 1 
完备 

〜性292 1 
〜测度 161 1 
〜概率空间 161 1 
完备化 161 1 
完全 

〜可加测度 134 1 
〜可区分的测度序列401 1 
〜相对列紧测度集349 1 
〜正交规范系 291 1 
完全套头交易220 
网络 110 1 
维纳 

〜测度 175 1 
〜过程330 1 

条件〜过程（布朗桥）332 1 
伪逆矩阵333 1 
稳定随机变量376 1 
沃尔德分解78 
无偏估计童 69\25\ 1 
无限多个结局的试验模型 133 1 
无限可分随机变量373 1 


名词索引 


无序样本7 1 
无重复的置换5 1 
无重复组合 
无仲裁208 

〜可能性207, 209 

X 

希尔伯特空间287 1 
酉（复）〜50 
可分〜 291 1 
下积分 215 1 
下积分和 213 1 
下黎曼积分 216 1 
F 鞅（半鞅 ） 110 
局部〜113 
广义〜 111 
显著性水平72 1 
线性 

〜独立性 341 11 , 342 1 
〜绝对连续测度706 
〜流形（封闭的） 291 1 
〜流形288\ 291 1 
〜相关性40 1 ，254 1 
相对紧性348 1 , 349 1 
相对列紧测度集349 1 
相关函数50 
相关系数40\254 1 
相合估计贵69 1 
相互临近的测度序列401 1 
相互特征118 
相空间110\238 
相交次数142 
协方差40\ 254 1 , 49 
二次〜 118 
〜函数330 1 , 49, 73 
〜 矩阵225325 1 
〜函数的估计73 
〜无关性289 1 , 342 1 
〜〜的谱表现55 


信悤置 

〜费歇尔 71 1 
〜库尔贝克400 1 
施瓦兹不等式37 1 
序列紧性350 1 
选排列数6 1 
选择审慎的未婚女307 

序列 

遍历〜 42 
部分观测〜 92 
殆周期〜51 
更新〜 80 
可逆〜 742 
可预测〜 647 
奇异〜 79 
弱（广义 ）一 50 
强（狭义） 平稳〜 34 
确定〜 79 
完全非〜〜 79 

纯非〜〜 79 

弱〜〜 49, 50 

〜〜〜 的谱表不62 
移动平均〜 52 
正则〜 T 9 

选择权 ( option ) 218 
买方〜219 
卖方〜219 
〜 的合理价格220 
美国型〜221 
欧洲型〜222 
循环子类262 


延森不等式201 1 
验后（后验）概率26 1 
验前（先验）概率26 1 
鞅 100 1 ， 110, 203 
广义〜111 
局部〜113 
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可逆〜 102* 

列维〜 111 
平方可积〜118 
〜变换113 
〜-差116 
样本方差254 1 
样本均值254 1 
移动平均 

〜序列52 
p 阶〜53 
单侧〜53 
双侧〜53 

一个概率空间方法385 1 , 387 1 
—致可积性 197 1 
一致性 109 1 ，173 1 

〜条件 
〜准则 419 1 
伊金格模型 21 1 
一维〜 21 1 
依测度收敛274 1 
依分布收敛275\ 355 1 ，385 1 
依槪率收敛274\ 385 1 
〜的柯西准则280 1 
〜的可度量性381 1 
以概率1收敛274 1 , 386 1 
因子分解定理247 1 
引理 

W 雷尔-坎泰利〜277 1 
博雷尔-坎泰利-列维〜159 
法图〜 196 1 
克罗内克〜15 
条件数学期望的〜〜253 1 
离散更新理论的 基本〜 270 
普 拉特〜222 1 
斯鲁 斯基〜 283 1 
特普利茨 （ Toepiitz ) 〜15 
银行核算205 
〜利率 205 
优（强）测度394 1 
cr - 有限测度 135 1 


有限个结局的试验模型 II 1 
有限可加 

〜测度133 1 
-概率 134 1 
〜测度 134 1 
〜随机测度58 
有限维分布函数267 1 
有限维分布意义上的基本收敛346 1 
有限维概率空间268 1 
有限维经验分布函数411 1 
有效估计量70 1 
有序样本5 1 , 6 1 , 7 1 
有重复组合2 1 
原理 

〜不变360 1 
〜反射92 1 
适当集合〜 143 1 
原子284 1 

分割的〜 10 1 
〜测度284 1 
P 284 1 
允许重复的置换22 

Z 

资本206 
自回归概型53 
在 “0” 连续测度 136 1 
增长点 164 1 
增置的独立性 331 1 
正交 

〜测度（相互）398 1 
〜分解297 1 、 

〜规范系287 1 
〜随机 变量系 
〜增最随机向量61 
正态相关定理的向董情形328 1 
指数族250 1 
置信区间69 1 , 72 1 
〜的可靠性98 
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〜的水甲 72 1 
〜的背信度 72 1 
中位数 43 1 

中心极限定理 353 1 ，356 1 ，359 1 ，364\ 369 1 
〜 的收敛速度 405 1 

周期 

〜图 75 

不吋约 类的〜 262 
序列的〜 261 
状态的〜 261 
柱集 152 1 
转移概率 110 1 ， 269 1 
〜函数 243 
〜矩阵 110 1 

状态 

本质〜 259 
非〜〜 259 
常返〜 265, 269 
零〜〜 269 
非〜〜 265. 268 
正〜〜 269 
可达〜〜 259 

互通〜 259 
总存（里）20? 

有价 证券〜 207 
族 

关于紧统的 测度〜 349 1 
马尔可夫链〜 246 
完备 测度〜 349 1 
指数〜 250 1 
组合数 5 1 
最大 

〜遍历性定理 40 
〜似然估计量21 1 
〜相关系数 264 1 

最小 

〜单调类 142 1 
〜 代数 142 1 
w 代数 142 1 
〜子 a -代数 142 1 


〜上鞅强函数 231 
最优停止规则 226 

马尔可夫链的〜 296 
最优停止问题的“(价）值” 297 

最优线性估计最 41 1 ,288 1 ,297 1 

坐标方法（建立方程的） 268 1 



人名表 


(汉语拼音为序) 


阿什 

埃尔米特 
埃伦弗斯特 
埃伦弗斯特 
埃森 

爱因斯坦 

埃什 

埃舍 

埃特麦迪 
奥塔维安尼 


巴特利特 

巴拿赫 

巴彻里耶 

邦弗尔罗尼 

鲍斯 

贝尔 

贝尔 


A 


R. B. Ash 

P. 3m 

Ch. Hermite 

III. 3pMMT 

P. Ehrenfest 

II. 3peH(j)ecT . 

T. Ehrenfest 

T- 0peH({)ecT 

C. G, Esseen 

K . r. 3cceeH 

A. Einstein 

A. BiiHinTeHH 

R. B. Ashi 

F. B. 9m 

Esher 

3uiep 

N. Etemady 

H- BxeMa^M 

Ottawiani 

OTTaBHaHH 

B 

M. S. Bartlett 

M. C- BapTJieTT 

S. Banach 

C. BaHax 

L. bachelier 

JI. Bamejite 

Bonferroni 

BOH(J)eppOHM 

S. N. Bose 

III. Do3e 

A. G. Bell 

A. r. Bejui 

R. L, Baire 

P. JL Bap 


人名表 


• 369 - 


贝尔曼 
贝克尔雷尔 
贝里 
贝塞尔 
贝叶斯 
比林斯利 
彼得罗夫 
毕达哥拉斯 
波拉德 
波利亚 
伯恩斯坦 
伯克霍尔德 
伯克霍夫 
伯努利 
伯努利 
泊松 
博赫纳 

博雷尔（波莱尔) 

博利舍夫 

博罗夫科夫 

布罗登 

布尔 

布耳曼 

布耳兹曼 

布莱克韦尔 

布赖曼 

布朗 

布雷 

布罗吉 

布洛赫 

布尼亚科夫斯基 
布西 

查普曼 

达布 

达德利 


R . E . Bellman 

A . H . Becquerel 
A . C . Berry 

F . W . Bessel 
T . Bayes 

P . Billingsley 
W . W . Petrov 
Pythagoras 
D . Pollard 

G . Polya 

S . N . Bernstein 
D . L . Burkholder 
G . D . Birkhoff 

D . Benoulli 
J . Benoulli 
S . D . Poisson 

S . Bochner 

E . Borel 

L . N . Bolishev 
A . A . Borowkov 

T . Brodcn 
G . Boole 

G . BoHlmann 
L . Boltzmann 

D . H . Blackwell 
L . Breiman 

E . T . Brown 
J . R . Bray 

U . Broggi 
A . Bloch 

A . J . Buniakowsky 
R . S . Busey 

C 〜 D 

D . G . Chapman 
J , G . Darboux 
R . M . Dudley 


P- 3. BejiJiMaH 

A. X. BeKKepejieM 

A. C . Beppn 

少 • BecceJib 

T. Banec 

II. BMjlJIHHrCJIH 

B. B. IleTpoB 
Ilw^arop 

R. rinojuiapji 
R. Tlofta 

C. H . CcpHuiTeiiH 

H. Jl. DypKxojib^ep 

iI>K - 几 BHpKrot}) 

IL BepHyjiJiw 
BepHyjiJiw 
C - R. IlyaccoH 
C . BoxHep 

O. DopeJib 

Jl. H. BojibincB 
A. A. BopOBKOB 

T. Bpo^aeH 
JI>k. Cyjib 
r. CoJILMaH 
Jl. BojibiiMaH 
R. DjiaKyajiJi 

Jl. BpeiiMaH 

3. T . BpoyH 
P. 

y. CporrH 
A. Cjiox 

A. H. ByHHKOBCKHii 

P . C . Bi>iocy 

几厂 MenMaH 
>K. T. ilap6y 

P . 



• 370 • 


人名表 


达昆纳-卡斯特里 

D. Ducunna-Castelle 

H. iXanyHa-KacTeJuie 

达雷特 

R. Durrett 

P . ZlappeT 

戴维斯 

H. T. Davis 

X . T . ilaBMC 

德沃列茨基 

— 

ilBOpeUKHH 

德格鲁特 

M. H. deGroot 

M • He PpooT 

邓肯 

E. B. Dynkin 

W . C . ilbIHKHH 

狄拉克 

P. A. M . Dirac 

11. A. M- HwpaK 

狄利克雷 

P, G. L. Dirichlet 

11. r. A. ilHpnxJie 

笛卡儿 

R. Descartes 

P . ilcnapT 

棣莫弗 

A. De Moivre 

A. He MyaBp 

杜布 

J. L. Doob 

H> k . JI. ily6 

杜弗劳 

M. Dufio 

M. Hio({)jio 


E 


恩格尔伯特 

H.-J. Engelbert 

r .- JO . 3Hrejib6epT 


F 


法图 

F. Fatou 

1 丨. (J>aTy 

范德瓦尔登 

B. L. van der Waerden 

D. JI. BaH ^ep Bap/ieH 

范基 

Fan Ky 

Km 

费勒 

W. Feller 

^ejuiep 

费马 

P. Fermat 

IL 少 epMa 

费内提 

B. de Finetti 

B* jxe ^HHeTTM 

费希尔(费歇尔） 

R. A. Fisher 

P . A. 伞 Minep 

费叶尔 

L. Fejer 

JI. ^ethep 

弗雷歇 

M. Frechet 

4>. ^>peme 

弗米 

E. Fermi 

3. 少 epMM 

冯 • 诺伊曼 

• J . von Neuman 

H> k . 少 oh HeiiMaH 

福尔默 

H . Follmer 

r \ 4>ejuiMep 

福明 

S. W. Fomin 

C . B. 伞 OMHH 

傅比尼 

G. Fubini 

r . (J)y6HHH 

费里德曼 

H. M. Friedman 

r . M . ^ cjib^MaH 

傅里叶 

J. B. J. Fourier 

>K. B. >K. ^ypbe 



人名表 


• 371 - 


G 


盖尔登 

J. A. H. Gylden 

冈贝尔 

E. J. Gumbel 

高斯 

G. F. Gauss 

格贝尔 

H. Gerber 

格拉姆 

G. P. Gram 

格里米特 

G. R. Grimmit 

格里汶科 

W. I. Glivenko 

格林伍得 

P. E. Green word 

格鲁特 

M. de Gloot 

格涅坚科 

B. V. Gnedenko 

哥塞特 

W. S. Gosset 

哈恩 

H 

FL Hahn 

哈尔 

A. Haar 

哈伊克 

J. Hajek 

哈代 

G. H. Hardy 

哈尔默斯 

P. R. Halmos 

哈密顿 

W. R. Hamilton 

哈特曼 

P. Hartman 

汉南 

E. J. Hannan 

海林格 

E. Helinger 

海涅 

H. E. Heine 

豪斯多夫 

F. Hausdorff 

赫尔德 

O. L. Holder 

赫尔格洛茨 

G. Herglotz 

赫利 

E. Helly 

惠更斯 

Ch. Huyghens 

霍普夫 

H. Hopf 

霍奇 

W. W. D. Hodge 

吉尔萨诺夫 
基赫曼 

J 

E. E. Gihman 

加德钠 

M. F. Cardner 

加尔西亚 

A. M. Garsia 

角谷 

S. Kakutani 


RyK. A. X. rlOJi^en 

3. ryMScJib 

K • 伞 . Faycc 

X. rep6ep 

r . n . I’paM 

Jl^K. FpMMMeT 
B. M. rJIMBCHKO 

n. e. rpwHBy^ 

M. jxe rpooT 
D. B. rHe^eHKO 
B. C. rocceT 

r. XaH 
A. Xaap 

iI>K. raeK 

r * X- Xap^w 
II. XajiMOin 

y. P. raMHJILTOH 
IL XapTMaH 
Q. Hm. XeHHaH 
3. XejuiMHrep 
r. 3. HeilHe 

少. Xayc ^ pc }) 

O. JI. re Jib 丑 ep 
r. reprjiOTU 
3. Xcjijih 

X, r joftreHC 

X. Xon(J) 
y. B . 几 Xo^e 

W. rHpeaHOB 

PL M, rHXMaH 

M. Pap^Hep 
A. M- rapona 
C. KanyTaHH 



• 372 • 

人名表 


卡巴诺夫 

K 

Y . \L Kabanov 

K). M. Ka6anoB 

卡尔达诺 

G- Cardan no 

H>k. Kap^aHO 

卡尔莱曼 

T\ Carleman 

T . KapjieMaH 

卡尔曼 

R. E. Kalman 

P. W. KaJiMaH 

卡拉泰奥多里 

C. Carath^odory 

K. KapaTeo.aopM 

卡利卡尼尼 

C. Calcagnini 

M. KaJILKaHHHH 

卡姆 

L. Le Cam 

Jl . Jle Khm 

凯麦尼 

J. G. Keinenv 

/I>k. Kcmchh 

坎泰利 

F. P. Cantelii 

11. KaHTejiJiw 

康托尔 

G. Cantor 

r . Kohtop 

考克斯 

J. C. Cox 

H>k. K. Kokc 

柯尔莫戈洛夫 

A. N, Kolmogorov 

A- H. KojiMoropoB 

柯西 

A. L. Cauchy 

O. Jl . Kohim 

科尔钦 

W. F. Kerchen 

B- 4>. Kojimmh 

克里兖伯格 

Krickbeg 

KpwKGepr 

克拉默 

H. Cramer 

r. KpaMep 

克罗内克 

L. Kronecker 

Jl. KpoHenep 

库尔贝克 

S . Kullback 

C. Kyjib6aK 

拉奥 

L 

C . R. Rao 

C. F. Fao 

拉德马赫 

H. Rademacher 

r. A. Pa^eMaxep 

拉东 

J. Radon 

iI>K. Pa^OH 

拉格朗日 

J. L. Lagrange 

>K, Jl. JlarpaH>K 

拉曼钱德兰 

B. Lamanchandran 

B. PaMaHHa 即 aH 

拉普拉斯 

R S . Laplace 

n. C. Jlanjiac 

莱布尼茨 

G. W. Lebniz 

r. B . J1gh6hhu 

莱斯 

F. Liese 

少 . JlH3e 

莱维 

E. E. Levy 

M. M. JleBM 

兰珀蒂 

J. Lamperti 

RjK. JlaMnepTH 

勒贝格 

H. L. Lebesgue 

A. JL Jle6er 

雷夫尤兹 

D. Revuz 

几 PeBK)3 

雷内伊 

A . Renyi 

A. PeHyn 

黎曼 

G. F. B. Riemann 

F. D. PwMaH 

李雅普诺夫 

A . M. Lyapunov 

；i : 

A- M . JlimyHOB 



人名表 


李特尔伍德 

J. E. Little wood 


里斯 

F. Riesz 

伞. Phcc 

利普彩尔 

R. S. Lipchail 

P- III. Jlnnuep 

利普希茨 

R. 0. S. Lipschitz 

P- JiHnilIHU 

刘维尔 

J. Liouville 

iI>K. JlnyBHJUiL 

列昂诺夫 

W. R Leonov 

B. IT. JleoHOB 

列维 

P. P. Levy 

II. 11. JleBH 

林德伯格 

J- W. Linder berg 

JI> k . y . JlMHne6epr 

林格拉特 

E. Linglart 

r 3. JIwHrjiflp 

洛埃甫 

M. Loeve 

M. JIobb 

洛必达 

L’ Hospital 

I". JIonHTajiL 

伦德伯格 

G. A. Lundeberg 

r. A. JIyH^6epr 

鲁宾斯坦 

M. Rubinstein 

M. Py6HHniTCHH 

罗塔里 

W. E. Rotari 

B. M. PoTapb 

罗扎诺夫 

Yu. A. Rozanov 

KK A. PoaaHOB 

罗宾斯 

H. R. Robbins 

r. P. Po6eHC 

罗斯 

R. A. Ross 

P. A. Pocc 


M 


马尔可夫 

A. A. Markov 

A* A. MapKOB 

马歇尔 

A. W. Marshall 

A. B. MapmaJiJi 

马钦凯维奇 

J. Matcinkiewicz 

Vi. MapUHHKeBHM 

马哈拉诺比斯 

P. S. Mahalanobis 

II. C. MaxajiaHo6Mc 

迈斯特罗夫 

D. I. Mastrov 

Jl . E. MaftcTpoB 

麦耶 

P. -A. Meyer 

11. -A. Meftep 

麦克米兰 

B. McMillan 

B . MaKMHJlJIciH 

麦克斯韦 

J. C. Maxwell 

R . MaKCBeJiJi 

曼 

IL B. Mann 

X. Yj . MaHH 

梅沙尔金 

L. D. Mesharlkin 

Jl . Jl . MeinajiKMH 

门罗 

Monroe 

MoHpo 

米泽斯 

R. Mises 

P. Mnaecy 

闵可夫斯基 

H. Minkowski 

I \ MmhkobckmM 

默瑟 

J. Mercer 

>K. Mepcep 


• 374 • 


人名表 


奈曼 
奈维尤 
尼科迪姆 
牛顿 

诺维科夫 


欧几里得 
欧拉 


帕赞 
帕利 
帕乔里 
帕塞瓦尔 
帕斯卡 
庞加莱 
蒲丰（布丰) 
普拉托 
普拉特 
普雷斯曼 
普罗泰尔 
普罗霍罗夫 


奇斯佳科夫 
乔 

切比雪夫（切贝绍夫) 
齐格蒙特 
乔尔奇 
切萨罗 
切尔诺夫 
茹尔边科 


N 

Yu . Ncyinaii 
J . Neveu 
O . M . Nikodym 
L Newton 

o 

Euclid 
L . Euler 

p 

E . Parzen 
W . Pauli 

L . Papcioli 

M . A . Parseval 
B . Pascal 

J . H . Poincare 
G . L . L . BufFon 
Jan von Plato 
Pratt 

I . L . Pressman 
Ph . Protter 
Yu . V . Prokhorov 

Q 〜 R 

W . P . Qisjiakov 
Y . S . Chow 
R L . Chebyshev 

A . Zygmund 
A . Church 
E . Cesaro 


K ). HeMNiaii 
P. HeBe 

O . M • IIhkouhm 
]/[. Hliotoh 
A . A . Hobhkob 


Ebkjimzi 
J l. 3 hjicp 


M . Ilap ： 3 eH 

B . IlayjiH 
JL riaMOJiH 

M. A. IlaceBajib 
B. IlacKajib 
> K . Ah. FlyaHKape 

> K . JI . Jl . Bio ( t )( t)OH 

Hh <Poh IljiaTO 
IlpaTT 

3. JI . EipecMaH 
少 . UpoTTep 

K). B. npoxpoB 


B. n. Mhcthkob 
K). III. Mao 

II. JI. Me6biueB 

A. 3nrMyHfl 
A. Hep^ 

3 . Meaapo 

MepHOB 

>Kyp6eHKo 


. 375 - 



萨雷姆萨科夫 

塞维治 

寒维治 

塞格 

沙利耶 

绍德尔 

舍伊宁 

施利亚耶夫 

施密特 

施瓦茨 

斯莫卢霍夫斯基 
斯梯格列尔 
斯蒂尔切斯 
斯捷克洛夫 
斯科罗霍德 
斯莱皮恩 
斯鲁斯基 
斯米尔诺夫 
斯奈尔 
斯皮策 
斯坦因豪斯 
斯特林 
斯特扎克 
斯梯格列尔 
斯通 
斯托特 
所罗门诺夫 


塔尔塔利亚 
泰切尔 
汤斯凯 
特普利茨 
图尔恰 
托德汉特 


S 

T . A . Saramsakov 
I . R . Sevage 

L . J . Sevage 

G . Szego 

C . L . Charlier 
A . Schauder 

O . W . Sherining 
A . N . Shiryaev 
E . Schimidt 

L . Schwarz 

M . Smoluchowski 
S . M . Stigler 

1\ J . Stieltjes 

V . A . Steclov 

A . \ V . Skorokhod 

P . Slepian 

E . Slutsky 

N . V . Smirnov 
J . L . Snell 

F . Spitzer 

H . D . Steihaus 
J . Stirling 

D . R . Stirzaker 

M . S . Stigler 

M . H. Stone 

W . F . Stout 
R . Solomonov 

T 

N . Tartalya 

H . Teicher 
M . Donsker 

O . Toeplitz 

I . T ulcea 

I . Todhanter 


T. A. CapuMcanoB 

H . P . 

JI. H. C^BVUVK 
I’. Cere 
K. Jl. LUapJibe 

A. Illay^ep 

O . 13. lIIefiHHH 

A. H. UlMp^eB 

3. 

JI. IIlBapu 

M. CMOJiyXOBCKHH 

C. M. CTHrjiep 

T. ]A. CTMJiTbec 

B. A. CTeKJioB 

A. B. CKopoxo/i 

II. Cjien^H 
E. E. CjiyuKHft 
H. B . Cmhphob 

CHejiJi 

Cnwaep 

r. H. UlTeftHrayc 

H>K. CTHpJIHHr 

几 CTMpaaKep 

C. CTHrjiep 
M. r. Ctoyh 

B. <I>. Ctoyt 

P . COJIOMOHOB 

H. TapTaJibii 
r. Tewnep 

M. ZlOHCKCp 

O. Tenjma 

M. TyjiMa 
9. ToAxaHTep 


• 376 • 


人名表 


托德亨特 

I. Tod hunter 

H. To/ixaTep 

托洛佐娃 

T. B. Tolozowa 

T. B. Tojio30Ba 


w 


威曼 

A. Wiman 

A. YHMaH 

威伊达 

I. Vajda 

W. Baftaa 

韦布尔 

W. Weibull 

B. Beii6yjiJi 

维尔 

J. Ville 

>K. BHJiJib 

维尔斯特拉斯 

K. T. W. Weirs trass 

K. T. B. BewepuiTpacc 

维纳 

N. Weiner 

H. BwHep 

温策尔 

A. D. Wentzel 

A. 几 BeHTuejib 

温特纳 

A. Wintrier 

A. BwHTHep 

瓦尔德 

A. Wald 

A. Bajib^ 

沃尔德 

H. Wold 

P. Bojib^zx 

沃尔夫 

R. Wolf 

P. Bojil(}) 

乌沙科夫 

W. G. Ushakoff 

B* r. y maKOB 

伍拉姆 

Wool lam 

yjiaM 


X 


西拉日季诺夫 

S. H. Sealaijinov 

C. X. Cnpa>K^HHOB 

西格蒙德 

D. Sigmund 

iL CwrMyH^ 

希尔伯特 

D. Hilbert 

几 rnjn>6epT 

希奈 

Y. G. Sinai 

H. r. CwHaii 

谢瓦斯契亚诺夫 

B. A. Sevastyanov 

B. A* CeBacTLHHOB 

辛钦 

A. J* Khintchine 

A. H. Xmmhh 

休伊特 

E. Hewitt ^ 

9. XblOMTT 


Y 


雅可比 

G. G. J. Jaccbi 

K. r. H. Hko6m 

亚当斯 

.L G. Adams 

几 K. A^awc 

亚格洛姆 

A. M. Jaglom 

A. M. HrjiOM 

亚格洛姆 

E. M. Jaglom 

M. M. Hfjiom 

亚历山大罗夫 

A. S. Alexaderdrov 

n. C. AjieKca^poB 

亚历山大罗娃 

N. W. Alexaderdrova 

H. B. AjieKca 及 poBa 

延森 

I. L. Iensen 

H. JI. MeHceH 

伊金格 

Ezenger 

M3MHr 



• 377 - 


伊藤淸 
伊西哈尔 
易卜拉给莫夫 
尤什克维奇 


扎克德 
扎克斯 
钟开莱 
祖布科夫 
佐洛塔廖夫 


人名表 


I to Kiyosi 

E. A. Ibragemov 
A. P. Yushikaivid 

z 


.1. Jacod 
S. Zacks 
Kai Lai Chung 
A. M. Zubkoff 
W, M. Zolotaileoff 


K. Mto 
A. Hcuxap 
M. A. M6parwMOB 

A. II. K)lUKeBMM 

>K. >KaKo;i 
III. 3anc 

M>KyH Kail -Jiatr 

A. M. 3y6KOB 

B- M. 3ojiOTapeB 



记号索引 


dA 



F n ^F 

F ^n 

F n ^F 

Pn=^P 

Pn-P 

Pn=4P 

W 

Mn —> M 

f^n ^ M 
d 

Vn —^V 


小⑷ 

a(^) 

DL 

B\A 

寧 o ， N ; P ) 
•% 

.务 (C) 

MD) 

.务 (R) 

.雄） 

.务 (R n ) 

，难 °°) 

.务 (R t ) 
.^([0,1]) 


A ® .务 .务 2 

A C 


A + D 


C+ 


A\JB 

AAB 


Cn 

C (尸） 

C(/n ； P) 




• 379 • 


记号索引 


C(/ ； P) 

Cl 

cov (《，”） 

D 

Di 

D (⑽ 

dp(X.Y) 

△物 

(E^) 

( E 凡 P ) 

^n(A) 

^t(A) 

ffr(P.P) 

E(”i ， … ， r/ n ) 

E(e ： .4) 

E 綱 

E (㈣ 

E (㈣ 

mv) 

，说) 

E(C|r?i ， … ， "n) 

erf 

(f ， 9) 

F*G 

k 

.r* 

w p 

teT 


中 (X) 

H(RP)^ 

H(a; P y P) 

Ja^ 

Jo ^ dP 

(^^)I R ^)0(dx) 

(R-S)f R ax)G(dx) 

( L )/^o 《⑻办 

L' 2 


L p 

L°° 

MP ， P) 

Le(^) 

L k (A) 

货 ( m ， …， n n ) 

l.i.m, 

M(P) 

(M) n 

(M) 

m 卜.外） 



med 

"( 乂） 

/X ⑻ 

Ml X ^2 

N(A) 

N{.A) 

AT ⑼ 
N(A) 
N(m y a 2 ) 
N(m, R) 
P 
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记号索引 


PM) 

("1 •… Mk ) 

p (娜） 


p (綱 


p (物) 

Var(P - P) 

P ㈤ 0 

= maxlXjl 

p(_ 


p (雖） 

〈in 

P(B| 沴 .） 

[X,Kl n 

A 

Wn 

pM 

{Xn —} 

^ = {Pq;u e u} 

z 

p 

^(A) 

f>(k) 

則 

Pyv 

X 

(P n )A{P n ) 


(P n )<(P n ) 

€ 丄” 

(P n )<3>(P n ) 

(n，. 成 p) 

II 尸-戶 II 

(ih^ y p 9 ；s ^e) 

" 尸-心 L 

# 

j 

lb (工， y)ll 

m % 

Ibijll 

[a!， … y a n \ 

n 

(辽1，… ，a n ) 

n ㈨ 



R 

I 

R(n) 

R l 

R t 

R°° 

R n 

Rn 

R„(x) 

(R,^(R)) 

P(P ， P) 

p(n) 



常用数学符号 


M = (-00, 00) ——实数的集合，实直线，一维欧几里得空间 
R+ = {0’ oo) 

M = [-oc ? oo] ——扩充实 直线 : R = R U{-oc} U{oo} 

R+ = [0, oo] 

Q ——有理数的集合 

Q+ = Qfl K + 

R d —— d 维欧几里得空间 
N ——自 然数: {0，1，2，".}或{1，2，".} 

Z ——整数的 集合： {0,士1，士2，--} 

€——复数的集合 


(a, 6) = {x G M : a < a: < 6}, [a, 6] = {x ^ R : a ^ x < 6} 

(a, 6] — {x € K : a < x ^ 6}, [a, 6) = {x G R : a < x < 6} 

infX —— 集合 XCR 的下界 
sup X —— 集合 XCR 的上界 
inf x n - ~ - 集合 X = {x m ,x m+ i,- • - } 的下界 

n^m 

Slip X n - 集合 X = {x mi X m+ i,- • - } 的上界 

n^m 

如果〜 1，则 

lim inf x n = limx n = sup inf x n , limsupx n = limx n = inf sup x 

n—oc n 77i^ 1 n ^ m n—oc n ^ n^m 

lim x n = x \\mxn = limx n = x <=» limx” ^ x ^ limx n - 
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常用数学符号 


对于实数 


= max(;r,0),.r" = — min(.r, 0) 

f :r _1 . 若 x # ()， 

„ 

1 0 ， 若 x = 0 

x V y = nvax(x. y),x / \ y = nun(x^ y) 

M 或 b 」 —— 不大于 ^ 的最大整数 
M — 大于或等于 : r 的最小整数 
sign x - 实数 J ： 的符号： 


( 1 ，若 x > 0 ， 

() ，若 : r = (J ， 

-1 ，若 : r < 0 

( 有时，当 x 彡 f) 时 . 设 sign = 1; 当 : r < 0 时，设 sign = -1) 
x n ;c , 其中 /i e {1 ， 2，.. • }、 表示 lim x n = x 

n 

x u t 表示 :r 〖 < ： x 2 ^ - ； x n ] x 表示 x n T 且 lim x n = x 

n 

:r u [ 表示彡： T 2 彡 • • • ； z n 丄 x 表示 i 且 lim x n = x 

对于复数 z = a + ib , 其中 a , b € R ， 而 i = \/-- l 是虚单位 

z = a-ib ~- — z 的共轭复数 
l^i -: 的模 （ = y/a 2 + b 2 ) 

Re : 和 Im 2 - 2 的实部和虚部 ： Re z = a,lm z = b 

对于 rf - 维欧几里得空间 R d 

|jr| ——^ = ,.x d ) 的欧几里得范数，即 /r? +…+ 4 

: r • y 或 （ x ， y) - x = (xi ， … ， Xd ) 和 y = (yi，• •. ， 2/d) 的数量积，即 xiyi + •- ' + 

集合论 

A n T 表示山 C 七 C-- ； A n ] A 表示 A T 且 \JA n = A 
A n i 表示 Ai^ A 2 ~2 ••• \A n [ A 表示 >4„ 丄且 0An = 4 

limsupi4 7M 或 limXn ， 或 fl ( U 表不 { 有无限多个 An} 属 于无限多个集 

m^l \n^m J 

合 A n (n ^ 1 ) 的点的集合 

liminfA, 或 UmAn 或 U f D 表示 —— 属 于所有（仅可能有限个乂 n 除外 ) 

V n^m / 



常用数学符号 


集合 A u (n ^ 1 ) 的点的集合 
h 或 1(A) —— 集合 A 的示性函数 
•丨一集合 

数学符号 



卜 g —— f 与 g 的卷积 


